숫자보다 구조! AI가 틀린 데이터에도 흔들리지 않는 이유 (CCOT 완전 정복)

우리는 그동안 한 가지 착각을 하고 있었습니다. “AI가 정확한 답을 내려면 예시(Few-shot)에 들어가는 숫자나 데이터가 완벽해야 한다”는 강박입니다. 하지만 최근 구글 딥마인드와 CMU 연구진이 발표한 논문은 우리의 뒤통수를 가볍게 때립니다. 프롬프트 속 숫자가 틀려도, 심지어 엉뚱한 문자로 바뀌어도 AI의 성능은 거의 떨어지지 않았기 때문입니다.

대체 무엇이 AI를 똑똑하게 만드는 걸까요? 핵심만 빠르게 짚어보겠습니다.

1. 숫자는 그저 ‘체스판의 말’일 뿐입니다

연구진은 수학 문제 프롬프트에서 재미있는 실험을 했습니다. 예시문에 나오는 숫자(1, 2, 3)를 모두 그리스 문자(α, β, γ)로 바꿔버린 거죠. 상식적으로는 모델이 패닉에 빠져야 맞지만, 결과는 의외였습니다. PaLM-62B 모델의 성능 하락폭은 고작 1.7%에 불과했습니다.

2. 문법이 무너지면 논리도 무너집니다

그렇다면 AI가 진짜 민감하게 반응하는 건 무엇일까요? 연구진이 숫자는 그대로 두되, 문장 구조를 ‘요다(Yoda) 문체’처럼 뒤섞어봤더니 성능이 수직 낙하했습니다.

3. 실전 압축 기술: CCOT (간결한 CoT)

논문은 토큰은 아끼고 성능은 높이는 CCOT(Concise CoT)를 제안합니다. 구구절절 설명하는 대신 핵심 논리 구조만 남기는 방식이죠.

이 방식의 장점은 명확합니다. 불필요한 미사여구를 쳐내서 토큰 사용량을 최대 36% 줄이면서도, 논리 단계는 유지되어 정확도는 그대로거나 오히려 높아집니다. 지갑(API 비용)과 속도를 모두 잡는 효율적인 전략이죠.

🚀 내 프롬프트를 위한 3단계 체크리스트

오늘부터 여러분의 프롬프트에 다음 세 가지만 적용해 보세요.

• 값보다 ‘단계’에 집중하세요 예시 데이터의 수치가 정확한지 검수하는 데 힘 빼지 마세요. 대신 문제를 해결하는 ‘논리적 단계’가 매끄러운지 확인하는 게 훨씬 중요합니다.
• 수식어를 다이어트하세요 “친절하게 설명해줘” 같은 말보다, 사고의 과정을 화살표(→)나 불렛 포인트로 구조화하는 것이 효과적입니다.
• 전문가의 패턴을 복제하세요 AI가 특정 분야의 답을 내길 원한다면, 그 분야 전문가들이 사용하는 특유의 ‘분석 구조’를 예시로 심어주세요. AI는 그 패턴을 읽고 지식을 인출합니다.