AI 환각 문제의 해법, 스스로 오류를 수정하는 ‘검증의 연쇄’

ChatGPT와 같은 AI는 놀랍도록 박식합니다. 하지만 치명적인 약점이 있죠. 바로 세상에 없는 사실을 너무나도 자신감 있게 말하는 ‘환각(Hallucination)’ 문제입니다. 마치 아는 것이 정말 많은 전문가인데, 가끔씩 자기가 지어낸 이야기를 진짜처럼 말하는 사람과 대화하는 기분입니다. 이런 AI를 어떻게 믿고 중요한 일을 맡길 수 있을까요?

그런데 만약 AI가 스스로 답변을 내놓은 뒤, 마치 노련한 언론사의 팩트체커처럼 자신의 주장을 조목조목 검증하고 수정까지 할 수 있다면 어떨까요?

이 기발한 아이디어에서 출발한 기술이 바로 ‘검증의 연쇄(Chain-of-Verification, CoVe)’입니다. 이 기술은 AI에게 스스로 생각하고 검증하는 능력을 부여하여, AI가 내놓는 정보의 신뢰도를 획기적으로 높이는 새로운 해법을 제시합니다.

1. 문제는 ‘그럴듯한 거짓말’: AI 환각은 왜 위험할까요?

AI의 환각이 정말 위험한 이유는, 그 거짓말이 너무나도 ‘그럴듯하기’ 때문입니다. 예를 들어 “뉴욕 출신 정치인을 알려줘”라는 질문에, AI는 시카고에서 태어난 힐러리 클린턴이나 보스턴 출신인 마이클 블룸버그를 목록에 포함시키곤 합니다. 너무나 자연스러운 문장 속에 교묘하게 섞여 있어, 전문가가 아니라면 알아채기 어렵습니다.

이런 문제는 AI의 신뢰도를 떨어뜨리는 가장 큰 걸림돌입니다. 기존에는 더 많은 데이터를 학습시키거나 모델의 크기를 키우는 ‘양적인’ 해결책에 집중했습니다. 하지만 CoVe는 접근법을 바꿨습니다. AI에게 더 많은 책을 읽게 하는 대신, 읽은 내용을 비판적으로 사고하는 ‘질적인’ 훈련을 시키는 데서 해답을 찾은 것입니다.

2. 스스로 묻고 답하며 오류를 찾다: CoVe의 4단계 팩트체크

CoVe는 AI가 자신의 답변을 체계적으로 검증하도록 만드는 4단계 프로세스로 이루어집니다. 우리가 중요한 보고서를 쓸 때의 과정과 놀랍도록 닮아있습니다.

1단계: 초안 작성

먼저 AI는 사용자의 질문에 대해 평소처럼 초기 답변을 생성합니다. 이 단계의 결과물은 아직 검증되지 않은 ‘초안’이며, 사실 오류가 포함될 수 있습니다.

예시 질문: “멕시코-미국 전쟁의 원인은 무엇이었나요?”

초기 답변 (초안): “…이 전쟁은 1845년 미국이 텍사스를 합병한 사건의 여파로 일어났는데, 멕시코는 1835년 텍사스 혁명에도 불구하고…”

2단계: 의심하고 질문하기

AI는 방금 자신이 작성한 ‘초안’을 보고, 그 내용의 사실관계를 확인하기 위한 검증 질문 목록을 스스로 뽑아냅니다. 자신의 주장을 뒷받침하는 핵심 팩트들을 하나씩 분해하여 검증대에 올리는 과정입니다.

생성된 검증 질문 목록:

• 멕시코-미국 전쟁은 언제 일어났는가?
• 미국은 텍사스를 언제 합병했는가?
• 텍사스는 멕시코로부터 언제 독립을 선언했는가?

3단계: 독립적으로 팩트체크

이제 AI는 자신이 만든 질문들에 대해 ‘독립적으로’ 답변합니다. 여기서 ‘독립적으로’가 핵심입니다. 이 과정에서는 편견을 줄 수 있는 초기 답변(초안)을 절대 참고하지 않습니다. 오직 자신이 가진 지식을 바탕으로 각 질문에만 집중하여 답합니다. 이는 스스로 저지른 실수를 반복하지 않기 위한 중요한 안전장치입니다.

검증 질문에 대한 답변:

• → “1846년 ~ 1848년”
• → “1845년”
• → “1836년”

이 과정에서 AI는 자신의 초기 답변에 있던 “1835년 텍사스 혁명”이라는 내용이, 팩트체크 결과인 “1836년”과 다르다는 것을 스스로 발견하게 됩니다.

4단계: 수정본 완성

마지막으로 AI는 초기 답변과 팩트체크 결과를 종합하여, 오류를 수정한 최종 답변을 내놓습니다.

최종 검증된 답변: “…이 전쟁은 1845년 미국이 텍사스를 합병한 사건의 여파로 일어났습니다.”

초기 답변의 “1835년”이라는 사소하지만 분명한 오류가 스스로의 검증 과정을 통해 완벽하게 수정되었습니다. 이처럼 CoVe는 AI에게 스스로를 의심하고 교정하는 ‘메타인지’ 능력을 부여합니다.

3. 효과는 입증되었습니다: 숫자로 보는 CoVe의 성능

CoVe의 효과는 단순한 개선을 넘어 ‘혁신’에 가까웠습니다.

오답률 감소: 리스트 형식의 질문에서, 답변에 포함된 잘못된 정보의 수가 평균 2.95개에서 0.68개로 75% 이상 급감했습니다.

정확도 향상: 인물 소개글과 같은 긴 글을 생성하는 테스트에서, 사실 정확도 점수(FACTSCORE)가 55.9점에서 71.4점으로 28%나 급등하며 ChatGPT와 같은 고성능 모델을 능가하는 결과를 보였습니다.

이러한 결과는 CoVe가 AI가 긴 글을 쓸 때 흔히 발생하는 ‘앞에서 한 실수를 뒤에서도 계속 반복하는’ 문제를 해결하는 데 매우 효과적임을 보여줍니다.

4. CoVe가 만들 더 신뢰할 수 있는 AI의 미래

CoVe는 AI의 활용 방식을 근본적으로 바꿀 잠재력을 지녔습니다.

전문 분야의 비서: 법률 문서 검토, 의료 정보 요약 등 한 치의 오차도 용납되지 않는 전문 분야에서 신뢰할 수 있는 파트너가 될 수 있습니다.

가짜뉴스 필터: 스스로 사실을 검증하는 능력은 AI가 가짜뉴스를 만들거나 퍼뜨리는 것을 막는 강력한 방어막이 될 것입니다.

교육 혁신: 학생들에게 검증된 지식만을 제공하는 똑똑하고 정직한 맞춤형 AI 튜터를 가능하게 합니다.

물론 CoVe가 모든 환각을 100% 막아주는 만병통치약은 아닙니다. AI 자체가 가진 지식의 한계는 여전히 존재하기 때문입니다. 하지만 CoVe는 AI가 자신의 한계를 인지하고, 더 신중하고 정직한 답변을 내놓도록 만드는 중요한 첫걸음입니다.

결론: ‘정직한 AI’를 향한 중요한 한 걸음

‘검증의 연쇄(CoVe)’는 AI의 고질병인 ‘환각’ 문제를 해결하기 위한 강력하고 창의적인 접근법입니다. 스스로 생성한 정보를 의심하고, 질문하고, 독립적으로 검증한 뒤 수정하는 이 과정은 AI가 단순한 ‘답변 생성기’를 넘어, 비판적 사고 능력을 갖춘 파트너로 진화할 수 있음을 보여줍니다.

CoVe와 같은 기술 덕분에, 우리는 머지않아 AI가 내놓은 정보를 일일이 의심하지 않아도 되는 시대를 맞이할지 모릅니다. 더 똑똑하고, 더 신뢰할 수 있으며, 더 ‘정직한’ AI가 우리 곁에 다가오고 있습니다.