AI 할루시네이션 해결: 거짓말 없는 정확한 답변을 만드는 프롬프트 기술 4
단순히 “말을 잘하는 AI”를 넘어 “정확하게 일하는 AI”로 만드는 지식 공학적 레시피, 핵심만 요약해 드립니다.
AI와 대화하다 보면 가끔 당황스러울 때가 있습니다. 너무나 당당하게 거짓말을 하는 ‘할루시네이션(환각)’, 때문이죠. “얘가 왜 이럴까” 싶어 질문을 고쳐보지만, 사실 문제는 질문의 내용보다 정보를 전달하는 순서와 구조에 있을 확률이 높습니다.
1. 순서의 마법: CQO 법칙
정확도 14.7% 향상을 이끌어내는 핵심 원칙입니다. 시험 공부를 할 때, 질문을 먼저 읽고 지문을 보나요? 아니면 지문을 다 읽고 질문을 보나요? AI에게는 지문을 먼저 주는 것이 훨씬 유리합니다. 이를 CQO(Context-Question-Option) 법칙이라고 합니다.
왜 그런가요?
요즘 AI(디코더 모델)는 글을 읽으면서 뒤에 올 내용을 미리 점치지 못합니다. 지시사항(질문)이 맨 앞에 나오면, 정작 중요한 참고 자료를 읽기도 전에 답변의 방향을 성급히 결정해버리는 ‘병목 현상’이 생깁니다.
❌ Bad vs ✅ Good (CQO)
Good (CQO):
Context: [이메일 본문] — 참고 정보를 최상단에
Question: 위 이메일의 핵심 내용을 3줄 요약해줘.
Option: 직장 상사에게 보고하는 어조로 작성할 것.
2. AI에게 ‘독서 노트’를 시키세요
AI는 기본적으로 ‘착한 아이 병’이 있습니다. 모르는 내용도 어떻게든 답하려고 애쓰다 보니 거짓말을 하죠. 이럴 땐 답변 전 단계에 ‘메모’ 단계를 강제로 끼워 넣으세요.
전략: 질문에 바로 답하지 말고, 먼저 참고 문서를 평가하게 합니다.
- 이 문서에 답이 있는가?
- 질문과 상관없는 노이즈(Noise)인가?
- 답이 없다면 “모름”이라고 적기
이렇게 ‘지식 공백’을 스스로 인정하게 만드는 것만으로도 근거 없는 추측을 획기적으로 줄일 수 있습니다.
3. ‘발췌’가 ‘추론’보다 먼저입니다
방대한 보고서를 던져주고 “분석해봐”라고 하면 AI도 집중력이 흐트러집니다. 이때는 ‘증거 앵커링(Anchoring)’ 기술이 필요합니다.
💡 실전 프롬프트
“답변하기 전에, 근거가 되는 문장을 본문에서 토씨 하나 틀리지 말고 그대로 먼저 적어줘“
오픈북 테스트에서 정답 문장에 밑줄을 먼저 긋게 하는 것과 같습니다. 수치나 법률 조항처럼 정밀도가 생명인 업무에서 특히 강력한 힘을 발휘합니다. 자기 기억(학습 데이터)이 아닌 실제 눈앞의 데이터에 발을 붙이게 만드는 것이죠.
4. 깡통 모델을 최신 전문가로
AI 모델을 새로 학습시키는 데는 엄청난 비용과 시간이 듭니다. 하지만 Index Hot-swapping 개념을 알면 돈 한 푼 안 들이고 AI를 실시간으로 업데이트할 수 있습니다.
비유: AI의 뇌세포를 바꾸는 대신(재학습), AI의 책상 위에 최신 백과사전(프롬프트 주입)을 올려두는 것입니다.
어제 바뀐 정책이나 오늘 아침 뉴스 데이터를 프롬프트의 [참고 자료] 섹션에 갈아 끼워 주기만 하세요. AI는 자신의 낡은 지식보다 방금 입력된 따끈따끈한 데이터를 우선해서 답하도록 설계되어 있습니다.
결론: 어떻게 묻느냐보다 어떻게 ‘읽히느냐’
AI의 성능은 도구의 한계보다 설계자의 디테일에서 결정됩니다. 단순히 요행을 바라며 질문을 던지는 단계에서 벗어나, AI가 정보를 논리적으로 처리할 수 있는 ‘길’을 만들어 주어야 합니다.
오늘 여러분이 던진 질문은 AI가 제대로 ‘읽을 수 있는’ 구조였나요? 아니면 AI의 막연한 기억력 테스트였나요? 지금 사용하시는 프롬프트에서 정보의 순서만 바꿔보시는 건 어떨까요?
