AI에게 아이디어를 받을 때 고쳐 쓰기보다 여러 초안을 먼저 받는 이유
AI에게 기획안이나 카피를 부탁하고, 마음에 안 드는 부분을 "더 참신하게", "더 짧게" 하며 몇 번 고치게 해 본 적이 있으실 겁니다. 세 번쯤 고치고 나면 처음 답과 크게 다르지 않은 글이 남아 있는 경우가 있습니다.
이 글의 결론은 간단합니다. 한 답을 계속 고치게 하기 전에, 서로 참고하지 않은 초안을 몇 개 먼저 받아 두세요. 그다음에 가장 나은 하나를 골라 다듬는 순서가 더 안전합니다.
이 순서를 뒷받침하는 연구가 있습니다. 다만 이 연구는 과학 발견 과제를 대상으로 한 실험이고, 기획·카피 업무에 맞춘 실험은 아닙니다. 연구에서 확인된 내용과 업무에 옮긴 시사점은 구분해서 적었습니다.
고쳐 쓰게 할수록 왜 비슷한 답만 남을까요?
AI에게 이전 결과를 보여 주며 "이걸 더 낫게 고쳐 줘"라고 반복하면, 결과가 점점 한쪽으로 모입니다. 연구에서는 이 현상을 모드 붕괴(mode collapse)라고 부릅니다. 쉽게 말해 다양한 후보가 사라지고 비슷한 답만 되풀이되는 상태입니다.
2026년 9월에 공개된 AI가 스스로 반복하며 발견을 이어 가는 방식을 다룬 연구(arXiv:2610.00707)는 12개의 하네스(AI가 일하는 순서와 틀을 짜 둔 실행 구조)와 5개의 발견 과제를 비교했습니다. 이 연구에서 반복 개선 중 결과의 다양성이 급격히 줄어드는 모드 붕괴가 흔한 실패 유형으로 나타났습니다.
이유를 풀어 보면 이렇습니다. 고치는 단계에서는 AI가 직전 결과를 보고 그 위에서 수정합니다. 직전 결과가 이미 한 방향을 향해 있으면, 수정은 그 방향 안에서 일어납니다. 다른 방향의 답은 후보에 오르지도 못합니다.
여기까지는 연구가 확인한 내용입니다. 사람이 AI에게 카피를 고치게 할 때도 같은 일이 생기는지는 이 연구가 직접 보여 준 것이 아닙니다. 다만 "이전 결과를 보며 반복해서 고친다"는 구조가 같으므로, 같은 쏠림을 의심해 볼 만합니다.
연구가 권한 처방은 출발점을 넓히는 것입니다
연구진이 제안한 방법은 반복 개선을 시작하기 전에 병렬 탐색 단계를 두는 것입니다. 한 줄기로 시작하지 않고, 여러 갈래로 먼저 탐색해 출발점을 넓게 만든 뒤에 개선을 시작합니다.
이 방식은 여러 하네스와 여러 과제에서 일관되게 결과를 좋게 만들었습니다. 또 하나 눈에 띄는 결과가 있습니다. 초기에 얻은 결과의 품질이 최종 성공을 예측했습니다. 출발점이 좋으면 끝도 좋았다는 뜻입니다.
반대로 연구에서 효과가 없었던 방법도 있습니다. 다양성을 억지로 늘리려는 개입은 일관된 이득을 주지 못했습니다. 중간에 "더 다양하게 해"라고 밀어붙이는 것보다, 처음에 출발점을 넓혀 두는 쪽이 효과가 안정적이었다는 이야기입니다.
업무로 옮기면 이런 시사점을 얻을 수 있습니다. 여기서부터는 연구가 직접 검증한 내용이 아니라 제 해석입니다.
- 고치기 시작하기 전에 출발점을 만드는 데 시간을 씁니다.
- 첫 단계에서 나온 초안의 질이 최종 결과를 좌우할 수 있으니, 초안 단계를 건너뛰지 않습니다.
- 중간에 "다르게 써 줘"를 반복하는 방식은 기대만큼 효과가 없을 수 있습니다. 이 부분은 추정입니다.
같은 일을 두 가지 방식으로 시키면
신제품 소개 문구를 받는 상황을 예로 듭니다.
잘못된 사례: 한 답을 계속 고치기
- "신제품 소개 문구를 써 줘"라고 요청합니다.
- 나온 문구에 "좀 더 감성적으로"라고 요청합니다.
- 다시 "문장을 짧게"라고 요청합니다.
- 네 번째쯤에는 첫 문구와 뼈대가 같은 글이 남습니다. 처음 문구가 택한 방향이 끝까지 따라옵니다.
나은 사례: 초안을 먼저 여러 개 받기
- 같은 요청을 새 대화창에서 3~5번 따로 보냅니다. 각 대화창은 서로의 답을 볼 수 없습니다.
- 나온 초안을 나란히 놓고 미리 정한 기준으로 고릅니다.
- 고른 초안 하나를 가지고 그때부터 고쳐 쓰게 합니다.
두 번째 방식은 같은 AI를 쓰는데도 출발점이 다릅니다. 초안마다 문구의 방향이 달라서, 고르는 사람이 비교할 재료가 생깁니다. 첫 번째 방식에서는 비교할 대상이 처음부터 없습니다.
서로 참고하지 않은 초안이 필요한 이유는 사각지대 때문입니다
여러 초안을 받을 때 초안끼리 서로 보지 못하게 하는 것이 핵심입니다. 같은 대화창 안에서 "다른 안도 줘"라고 하면, AI가 앞서 쓴 답을 보고 거기서 조금 비껴 나가는 안을 내놓기 쉽습니다. 고쳐 쓰기에서 일어난 쏠림이 여기서도 일어날 수 있습니다. 이 부분 역시 연구가 직접 검증한 것은 아니고, 위에서 설명한 구조에서 끌어낸 추론입니다.
저희 책 『프롬프트를 쓰지 마라』의 '세 명의 전략가를 동시에 가동해 사각지대를 없앤다' 장도 같은 생각에서 출발합니다. 한 관점이 놓치는 부분을 다른 관점이 보완하게 하려면, 관점들이 서로의 답을 먼저 보지 않고 각자 생각해야 합니다. 시각이 다른 초안을 동시에 받아 두는 것은 업무에서 쓰기 쉬운 다중 관점의 한 형태입니다.
바로 따라 할 수 있는 다섯 단계
- 요청문을 하나로 고정합니다. 목적, 독자, 분량, 꼭 넣을 내용을 한 번만 정리해 두고 복사해서 씁니다. 요청문이 바뀌면 초안끼리 비교하기 어렵습니다.
- 새 대화창에서 따로 보냅니다. 같은 요청문을 대화창마다 한 번씩 보냅니다. 초안 개수는 3~5개처럼 업무에 맞게 정하면 됩니다. 연구에 정해진 적정 개수가 있는 것은 아닙니다.
- 고르는 기준을 먼저 적습니다. 초안을 읽기 전에 기준을 정해야 첫인상에 끌려가지 않습니다. 예를 들어 "독자가 첫 문장에서 이익을 알 수 있는가", "우리 회사가 지킬 수 있는 약속만 있는가" 같은 질문이면 충분합니다.
- 하나를 골라 그때부터 고칩니다. 고르는 단계에서는 초안의 장점을 한 줄씩 메모해 둡니다. 고쳐 쓰기는 고른 초안 하나에서만 시작합니다. 고쳐 쓰기를 단계별로 나누는 방법은 ProB AI 연구소의 프롬프트 체이닝: LLM 가짜 개선 피하고 품질 높이는 법 글에 정리해 두었습니다.
- 버린 초안에서 쓸 만한 조각을 건집니다. 고른 초안에 없는 표현이 다른 초안에 있으면, 그 한 문장만 옮겨 오자고 요청합니다. 이때는 이미 방향이 정해졌으므로 쏠림이 문제가 되지 않습니다.
요청문 예시는 아래와 같습니다. 대화창마다 이 문장을 그대로 붙여 넣습니다.
우리 팀은 직장인을 위한 일정 관리 앱을 출시합니다.
이 앱의 소개 문구를 3줄 이내로 작성해 주세요.
독자는 앱을 처음 보는 30대 직장인입니다.
과장 표현은 쓰지 마세요.이 방법의 한계도 알아 두세요
우선 연구 대상은 과학 발견 과제입니다. 기획안이나 광고 카피에서 같은 크기의 효과가 난다는 증거는 이 글의 근거에 없습니다. 이 글의 업무 적용 부분은 연구에서 얻은 시사점을 옮긴 것이고, 업무 현장에서 확인된 결과는 아닙니다.
다음으로, 여기서 말한 근거는 논문 초록을 확인한 범위입니다. 세부 실험 조건과 효과의 크기까지 확인한 것은 아니므로, "몇 배 좋아진다" 같은 수치는 이 글에서 말할 수 없습니다.
마지막으로 초안을 여러 개 받으면 읽고 고르는 일이 늘어납니다. 사소한 메시지에까지 쓸 필요는 없습니다. 방향이 중요하고 한번 정하면 바꾸기 어려운 일, 예를 들어 캠페인 컨셉이나 제안서의 핵심 주장 같은 곳에 쓰시길 권합니다.
정리
고쳐 쓰기는 방향이 정해진 뒤에 하는 일입니다. 방향이 정해지기 전에는 출발점을 넓히는 쪽이 먼저입니다. 연구에서도 반복 개선 전에 병렬로 탐색한 경우에 결과가 일관되게 좋아졌고, 초기 결과의 품질이 최종 성공을 예측했습니다. 다음에 AI에게 아이디어를 받을 때는 첫 답을 고치기 전에 새 대화창을 몇 개 열어 보세요.
여러 관점을 동시에 가동하는 방법을 더 깊이 다룬 내용은 저희 연구소가 쓴 책 『프롬프트를 쓰지 마라』의 '세 명의 전략가를 동시에 가동해 사각지대를 없앤다' 장에 담겨 있습니다.
