Logic-of-Thought(LoT): AI의 ‘불성실한 추론’을 해결하는 3단계 전략
AI에게 분명 “단계별로 생각하라(CoT)”고 시켰는데, 중간 과정은 그럴듯하면서 정작 결론은 엉뚱하게 내놓는 경우 보신 적 있죠? 논리적으로 생각하는 척하지만 실제로는 논리의 맥을 놓치는 이 현상을 학계에서는 ‘불성실한 추론(Unfaithful Reasoning)’이라고 부릅니다. 쉽게 말해 ‘아는 길도 중간에 딴짓하다가 길을 잃는 것’과 비슷하죠. 오늘은 이 문제를 해결하기 위해 등장한 Logic-of-Thought(LoT) 기법을 핵심만 정리해 드립니다.
기존 모델이 자꾸 ‘삼천포’로 빠지는 이유
기존에는 AI의 자연어를 논리 기호로 바꿔서 풀게 하려는 시도(LINC 등)가 있었습니다. 하지만 여기서 결정적인 ‘정보 손실’이 발생합니다.
기존 방식
“해리는 ‘월든’을 읽었다”를 기호로 변환 시, AI는 “해리는 사람이다”, “‘월든’은 책이다”라는 당연한 배경지식을 생략합니다. 결과적으로 논리 추론기는 “해리가 사람인지 알 수 없으므로 결론을 내릴 수 없음”이라며 멈춰버립니다.
LoT
원래의 문맥을 그대로 보존한 채, 그 위에 ‘논리적 근육’을 덧붙입니다. 기호화 과정에서 상식이 증발하는 실수를 반복하지 않습니다.
LoT의 3단계 : 논리에 지도 그려주기
LoT는 AI에게 단순히 “생각해봐”라고 하는 대신, 공학적인 설계도를 쥐여줍니다.
논리 추출 (Logic Extraction)
텍스트에서 뼈대(명제와 인과관계)를 추려냅니다.
논리 확장 (Logic Extension)
추출된 뼈대를 바탕으로, 숨은 논리들을 파이썬으로 계산해 확장합니다.
논리 번역 (Logic Translation)
확장된 기호들을 다시 AI가 이해하기 쉬운 자연어로 바꿔서 프롬프트에 넣어줍니다. 결과적으로 AI는 “아, 이 문장 뒤에는 이런 숨은 결론들이 있구나”를 깨닫고 추론에 임하게 됩니다.
핵심 차이점
기존 방식이 “자연어 → 기호”로 변환하다가 맥락을 잃는다면, LoT는 “자연어 위에 논리를 얹는” 방식으로 맥락을 지킵니다. 번역 과정이 추가되는 것이 아니라, 논리가 보조 레이어로 작동합니다.
숫자로 증명된 ‘생각의 깊이’
LoT를 적용했을 때 GPT-4의 성능은 눈에 띄게 올라갔습니다. 특히 복잡한 논리 데이터셋에서 효과가 확실했습니다.
| 데이터셋 | 기존 기법 | LoT 결합 시 향상도 |
|---|---|---|
| ProofWriter | Tree-of-Thought (ToT) | +8.00% |
| ReClor | Self-Consistency (SC) | +6.52% |
| RuleTaker | CoT-SC | +3.52% |
단순히 “열심히 생각해”라고 할 때보다, 논리적 가이드라인을 줬을 때 훨씬 더 똑똑해졌다는 뜻입니다.
주의할 점: ‘첫 단추’를 잘 끼워야 합니다
물론 LoT도 만능은 아닙니다. 핵심은 ‘Step 1(추출)’입니다.
도미노 효과 주의
문제 상황: AI가 원문에서 논리 관계를 잘못 읽어내면 (예: 부활절과 머리 모양 사이의 억지 인과관계 추출), 그 뒤에 이어지는 모든 논리 확장이 도미노처럼 무너집니다.
해결책: 문맥에서 명확히 지지되는 관계만 추출하도록 정교한 가이드라인을 제공하는 것이 중요합니다.
결론 및 인사이트
LoT는 AI에게 지식을 더 주입하는 게 아니라, ‘생각하는 법’을 알려주는 기술입니다. 법률이나 금융처럼 오답이 치명적인 분야일수록 이런 공학적인 접근이 필수적이죠.
지식(Knowledge)의 양을 늘리는 방향에서 추론 구조(Reasoning Architecture)를 설계하는 방향으로의 전환. 이것이 LoT가 제시하는 패러다임 시프트입니다.
지금 바로 적용하는 LoT 프롬프트
복잡한 문제를 풀고 싶다면, 프롬프트 끝에 이렇게 한 줄 추가해 보세요.
실전 프롬프트 추가 문장
"이 문맥에서 핵심 명제를 추출하고, 대우 법칙과 삼단 논법을 적용해 숨겨진 결론부터 정리한 뒤 답변해줘."
기대 효과
이 한 줄을 추가하면, AI는 단순히 연상하는 것을 넘어 논리적 근거를 가진 이성적인 답변을 생성합니다. 특히 법률 검토, 금융 분석, 학술적 추론처럼 오류 비용이 큰 영역에서 효과가 두드러집니다.
