생각의 사슬(CoT)의 한계와 ChainLM: AI 추론 능력 향상을 위한 가이드

똑똑한 AI의 치명적인 약점, ‘추론’

대규모 언어 모델(LLM)은 정말 똑똑해 보입니다. 방대한 지식을 바탕으로 글을 쓰고, 코드를 짜고, 사람처럼 대화도 하죠. 하지만 여러 단계를 거쳐야 하는 논리적 추론 문제 앞에 서면, 종종 자신감 넘치는 ‘헛소리’를 내놓곤 합니다. “한 단계씩 생각해보자(Let’s think step-by-step)”는 간단한 주문, 즉 ‘생각의 사슬(Chain-of-Thought, CoT)‘ 기법이 등장하며 이 문제는 꽤 개선되었습니다. AI에게 정답만 뱉어내게 하는 대신, 생각의 과정을 명시적으로 보여주도록 유도해 정확도를 높이는 방식이죠.

하지만 이것만으로는 부족했습니다. 기존 CoT 훈련 데이터는 대부분 단순한 문제에 편중되어 있고, 추론 과정이 엉성하거나 논리가 비약하는 경우가 많았습니다. 비유하자면, 올림피아드 수학 문제를 풀기 위해 구구단 문제집만 푸는 것과 같습니다. AI의 진정한 추론 잠재력을 끌어내려면, 훨씬 더 정교하고 깊이 있는 ‘훈련 프로그램’이 필요합니다.

이 답답한 문제를 해결하기 위해, ChainLM: 향상된 생각의 사슬 프롬프팅으로 LLM 강화하기 논문은 획기적인 접근법을 제시합니다. 바로 AI의 추론 능력을 근본적으로 강화하는 새로운 데이터 생성 프레임워크 ‘CoTGenius’와, 이를 통해 탄생한 추론 전문 모델 ‘ChainLM’입니다.

이 글에서는 ChainLM 논문의 핵심을 파고들어, 어떻게 AI를 더 똑똑한 ‘문제 해결사’로 훈련시킬 수 있는지 그 비결을 명쾌하게 알려드리겠습니다.

1. 좋은 ‘생각의 과정’이란 무엇일까요?

우선, 어떤 CoT가 AI를 더 똑똑하게 만드는지 알아야 합니다. 논문은 실험을 통해 좋은 CoT의 세 가지 핵심 요소를 밝혀냈습니다.

• 추론의 꼼꼼함 (Completeness): 생각의 단계는 많을수록 좋습니다. 연구진이 수학 문제로 실험한 결과, 추론 단계를 2개에서 5개로 늘리자 정확도가 45.8%에서 63.2%로 크게 향상되었습니다. 생각의 과정이 상세하고 꼼꼼할수록 AI는 정답에 더 쉽게 도달합니다.
• 프롬프트의 구체성 (Specificity): 각 단계가 얼마나 상세하고 구체적인지도 중요합니다. 기존 추론 과정을 더 상세하게 다듬는 작업을 반복하자, 정확도가 76.5%에서 79.4%까지 올랐습니다. “가격을 계산한다”처럼 모호한 설명보다 “사과 3개의 가격(개당 500원)과 바나나 2개의 가격(개당 700원)을 각각 계산한 뒤 더한다”처럼 구체적인 지시가 AI의 정확한 추론을 돕습니다.
• 추론의 논리적 순서 (Logicality): ‘추론 후 답변’ 방식이 ‘답변 후 설명’ 방식보다 훨씬 효과적입니다. 인간이 문제를 풀 듯, 차근차근 과정을 밟아 결론에 도달하는 방식의 정확도가 76.8%로, 결론부터 말하고 이유를 덧붙이는 방식(68.7%)보다 월등히 높았습니다.

결론은 명확합니다. 더 많고, 더 구체적인 단계를 거쳐, 논리적 순서에 따라 결론을 도출하는 CoT가 AI의 추론 능력을 극대화하는 열쇠입니다.

2. CoTGenius: AI 추론 능력을 위한 ‘전문 트레이닝 센터’

이러한 발견을 바탕으로, 연구진은 기존 CoT 데이터를 자동으로 개선하는 혁신적인 프레임워크 ‘CoTGenius’를 개발했습니다. CoTGenius는 AI를 위한 ‘전문 논리 트레이닝 센터’와 같습니다. 단순한 문제를 가져와 더 어렵고, 다양하고, 정교하게 만들어 AI의 ‘논리 근육’을 단련시키는 것이죠.

CoTGenius는 세 가지 핵심 훈련 전략을 사용합니다.

• 더 어렵게 (Complicate): 기존 질문에 새로운 조건이나 제약사항을 추가해 더 많은 추론 단계를 요구하도록 만듭니다. 예를 들어, “x²=16일 때 x는?”이라는 질문에 “단, x는 0보다 큰 소수”라는 조건을 추가하는 식입니다.
• 더 다양하게 (Diversify): 문제의 시나리오나 주제를 완전히 바꿔 데이터의 다양성을 확보합니다. 이는 모델이 특정 유형의 문제에만 과적합되는 것을 막고, 어떤 문제가 나와도 대응할 수 있는 일반화 능력을 향상시킵니다.
• 더 명확하게 (Specify): 질문은 그대로 두고, 추론 과정을 더 상세하게 만들거나 기존 단계를 더 명확하고 표준화된 방식으로 재작성합니다. 이를 통해 추론 과정의 논리적 흐름과 상세함을 강화합니다.

이렇게 강화된 데이터는 여러 LLM(ChatGPT, Claude 등)이 교차 검증하는 ‘품질 관리’ 과정을 거칩니다. 논리적 오류가 없고 훈련 목표에 부합하는 최고 품질의 CoT 데이터만 최종적으로 선별되는 것입니다.

3. ChainLM: 고품질 데이터로 탄생한 ‘추론 전문가’

연구진은 CoTGenius를 통해 상식, 수학, 과학 등 다양한 영역에서 4만 개가 넘는 고품질 CoT 데이터를 생성했습니다. 그리고 이 데이터를 Llama 2 모델에 미세 조정(fine-tuning)하여 ChainLM을 탄생시켰습니다.

결과는 놀라웠습니다. ChainLM은 여러 복잡한 추론 벤치마크에서 기존의 다른 오픈소스 모델들을 크게 능가하는 성능을 보였습니다. 이 결과가 시사하는 바는 명확합니다. 단순히 데이터의 양을 늘리는 것보다, 체계적으로 설계된 고품질 데이터로 훈련하는 것이 모델의 추론 능력을 향상시키는 데 훨씬 효과적이라는 사실입니다.

4. ‘단계별 토론’ 전략: AI들의 집단 지성으로 오류 잡기

아무리 훌륭한 모델이라도 중간 추론 과정에서 작은 실수가 발생하면, 이 오류가 누적되어 결국 틀린 답으로 이어질 수 있습니다. 이 문제를 해결하기 위해 논문은 ‘단계별 토론(Step-level Debating)’이라는 독창적인 방법을 제안합니다.

이것은 마치 AI 전문가들이 모여 각 문제 해결 단계를 검토하고 합의하는 ‘동료 심사(Peer Review)’와 같습니다.

• 역할 분담: ‘일반 대중’, ‘과학자’, ‘수학자’, ‘판사’ 등 각기 다른 페르소나를 가진 ChainLM 모델들이 토론에 참여합니다.
• 단계별 검증: ‘일반 대중’이 추론의 첫 단계를 제시하면, ‘과학자’와 ‘수학자’가 그 단계의 타당성을 검증하고 토론하며 오류를 찾아냅니다.
• 최종 합의: ‘판사’는 토론을 요약하고 해당 단계의 가장 정확한 결론을 내립니다.
• 다음 단계 진행: 이 합의된 결론을 바탕으로 다음 추론 단계를 제시하는 과정이 반복됩니다.

이 방식을 통해 각 추론 단계의 정확성을 집단 지성으로 확보하고, 오류가 다음 단계로 퍼지는 것을 효과적으로 막을 수 있습니다. 실험 결과, 이 단계별 토론 전략은 다른 어떤 추론 전략보다 일관되게 더 높은 성능을 보였습니다.

결론: AI 추론의 미래, ‘양’보다 ‘질’에 있다

ChainLM 논문은 AI의 추론 능력을 한 단계 끌어올리기 위한 명확한 청사진을 제시합니다. 핵심은 단순한 프롬프팅 기술을 넘어, AI의 ‘사고 과정’ 자체를 훈련시키는 데이터의 질적 향상에 있습니다.

CoTGenius 프레임워크는 우리에게 AI를 더 복잡하고, 다양하며, 구체적인 문제에 노출시켜야 한다고 말합니다. 그리고 단계별 토론 전략은 개별 AI의 한계를 집단 지성으로 보완할 수 있는 새로운 가능성을 보여줍니다.

이 연구는 AI가 단순히 정보를 검색하고 요약하는 도구를 넘어, 진정으로 ‘생각’하고 복잡한 문제를 해결하는 파트너로 발전하기 위해 우리가 나아가야 할 방향을 명확히 보여주고 있습니다.