AI 환각 잡는 ‘소크라테스식 문답법'(Maieutic Prompting)

AI 챗봇에게 질문했다가 황당했던 경험, 다들 한 번쯤 있으시죠? 분명 틀린 답인데도 너무나 자신감 넘치게, 심지어 그럴듯한 이유까지 대면서 우길 때가 있습니다.

이게 왜 문제일까요? AI가 단순히 ‘몰라서’ 틀리는 게 아니라, ‘논리’가 꼬여서 그렇습니다. 자기가 한 말을 자기가 부정하기도 하고, 설명과 결론이 따로 놀기도 합니다.

이 문제를 풀기 위해 “왜 그렇게 생각해?”라고 묻는 ‘생각의 과정(Chain of Thought, CoT)’ 기법이 나왔습니다. 하지만 이것도 한계가 명확합니다. 만약 AI가 내놓은 그 ‘설명’ 자체가 처음부터 엉터리라면 어떨까요?

마치 뭐든 잘 아는 척하는 친구에게 “왜?”라고 물었더니, 그럴듯하지만 사실이 아닌 이야기를 또 지어내는 것과 같습니다.

오늘 소개할 ‘Maieutic Prompting (소크라테스식 문답법)’은 이 문제를 해결하는 아주 강력한 방법입니다📄. AI가 하나의 그럴듯한 이야기에 안주하지 못하도록, 스스로를 끊임없이 의심하고 검증하게 만드는 기술이죠.

1. AI는 왜 스스로 모순에 빠질까?

AI는 우리가 생각하는 것처럼 ‘이해’하고 답하는 게 아니라, 확률적으로 그럴듯한 단어를 나열합니다. 그러다 보니 이런 황당한 오류들이 생깁니다.

• 설명과 결론이 반대: “연기는 불의 결과죠. 따라서 ‘연기는 불의 원인이 아니다’라는 말은 틀렸습니다(False).” (??)
• ‘아니다’를 이해 못 함: “1은 0 전에 오는 숫자다”라는 거짓말에 ‘참’이라고 합니다. 그런데 “1은 0 후에 오는 숫자다”라는 맞는 말에도 똑같이 ‘참’이라고 답합니다.
• 자기 말 부정: “나비는 날개가 3개다”라는 질문에 “나비는 날개가 4개이므로 거짓”이라고 잘 답합니다. 그런데 다시 “나비는 날개가 4개인가?”라고 물으면 “나비는 양쪽에 2개씩 날개가 있으므로 거짓”이라고 합니다.

이처럼 AI가 내놓는 ‘설명’은 믿을 만한 근거가 되기 어렵습니다.

2. 해결책: AI에게 스스로 ‘변호사’와 ‘검사’가 되라고 시킨다

‘Maieutic’은 소크라테스가 상대방에게 계속 질문을 던져 스스로 답을 찾게 한 ‘산파술’에서 따온 말입니다.

이 프롬프팅은 AI에게 답을 요구하는 대신, 이렇게 질문합니다.

“이 주장이 ‘참(True)’이라고 가정하고, 가장 그럴듯한 이유를 3개 대봐.”

“좋아, 이제 이 주장이 ‘거짓(False)’이라고 가정하고, 가장 그럴듯한 이유를 3개 대봐.”

AI에게 하나의 주장만 하게 두는 게 아니라, 스스로 ‘변호사(참 주장)’와 ‘검사(거짓 주장)’ 역할을 모두 맡겨서, 자신의 논리를 스스로 공격하고 방어하게 만드는 것입니다.

3. ‘소크라테스식 문답법’은 어떻게 작동할까? (3단계)

이 과정은 마치 AI와 함께 ‘토론 트리(Debate Tree)’를 만들고, 마지막에 ‘판사’가 판결을 내리는 것과 같습니다.

1단계: ‘토론 트리’ 만들기 (AI의 생각 펼치기)

AI가 내놓은 ‘이유’에 대해 꼬리에 꼬리를 무는 질문을 던집니다.

• “네가 ‘참’인 이유로 A를 들었는데, 그 A는 왜 참이야? 혹시 A가 틀릴 이유는 없어?”
• “네가 ‘거짓’인 이유로 B를 들었는데, 그 B는 왜 참이야? B가 틀릴 이유는 없어?”

이 과정을 계속 반복하며 AI의 생각을 나무뿌리처럼 펼쳐나갑니다.

이때 중요한 것이 ‘논리적 무결성’ 확인입니다. 쉽게 말해 ‘말이 되는 소리인지, 모순은 없는지’ 보는 거죠.

만약 AI가 “1은 0보다 크다”와 “1은 0보다 크지 않다” 둘 다 ‘맞다’고 우기면, 그 주장은 ‘신뢰할 수 없음’ 딱지를 붙이고 더 이상 탐색하지 않습니다. 이렇게 신뢰할 수 있는 주장들만 남기는 ‘가지치기’를 합니다.

2단계: ‘점수’ 매기기 (믿음과 일관성)

이제 수십 개의 ‘참’ 주장과 ‘거짓’ 주장이 펼쳐진 토론 트리가 완성됐습니다. 여기에 점수를 매깁니다.

• 믿음 점수: AI가 이 주장을 얼마나 ‘진짜’라고 확신하는가?
• 일관성 점수: 이 주장이 원래 질문과 얼마나 논리적으로 잘 연결되는가?

3단계: ‘최종 판결’ 내리기 (가장 모순 없는 답 찾기)

이 모든 주장과 점수표를 ‘MAX-SAT 솔버’라는 똑똑한 ‘판사’ 프로그램에게 넘깁니다.

이 ‘판사’는 복잡한 토론 트리를 쫙 훑어본 뒤, “이 모든 주장과 반박을 고려할 때, 어떻게 결론을 내려야 전체적으로 논리적 모순이 가장 적을까?”를 계산합니다.

그리고 최종 판결, 즉 원본 질문에 대한 ‘참’ 또는 ‘거짓’을 “땅! 땅! 땅!” 하고 내려줍니다.

4. 그래서, 효과가 있었나요?

네, 효과는 굉장했습니다.

• 기존의 ‘한 가지 이야기’만 하던 방식(CoT)보다 훨씬 똑똑하게 답했습니다.
• 심지어 그 문제만 전문적으로 공부시킨(파인튜닝) AI 모델보다 점수가 높기도 했습니다.
• 특히 “…이다”와 “…이 아니다”처럼 미묘한 부정문을 기가 막히게 잘 구분했습니다.

결론: AI에게 ‘설명’ 대신 ‘검증’을 요구하다

‘소크라테스식 문답법(Maieutic Prompting)’은 AI가 그럴듯한 ‘설명’을 하게 하는 대신, 스스로 ‘검증’하게 만듭니다. AI 스스로가 변호사와 검사가 되어 치열하게 토론하게 만드는 것이죠.

물론, 이렇게 하려면 하나의 답을 얻기 위해 수십, 수백 번의 질문과 답을 더 해야 하므로 시간과 비용이 많이 듭니다.

하지만 의학, 법률, 과학처럼 단 하나의 논리적 오류도 치명적일 수 있는 분야에서는 AI의 신뢰도를 확보하는 핵심 기술이 될 것입니다.

이제 우리는 AI에게 “네 생각의 과정을 보여줘”가 아니라, “네가 틀릴 수 있는 모든 이유를 대고, 그걸 스스로 반박해 봐”라고 요구하는 시대로 나아가고 있습니다.