수다쟁이 AI를 핵심 전문가로! Sketch-of-Thought(SoT) 완벽 정리
토큰 비용은 75% 줄이고, 정확도는 그대로 — KAIST가 발표한 SoT가 AI 추론의 판도를 어떻게 바꾸는지 핵심만 정리합니다.
최근 AI 업계의 화두는 단연 ‘효율성’입니다. 그동안 우리는 AI에게 “차근차근 생각해서 답해줘(CoT)”라고 주문해 왔죠. 덕분에 똑똑한 답변을 얻었지만, 대신 지갑이 가벼워졌습니다. AI가 정답을 내놓기 위해 거치는 구구절절한 ‘혼잣말’이 모두 비용(토큰)이었기 때문입니다.
KAIST 연구진이 발표한 Sketch-of-Thought(SoT)는 바로 이 ‘수다쟁이 AI’를 ‘핵심만 말하는 전문가’로 바꿔주는 획기적인 기술입니다. 독자분들이 궁금해하실 핵심 내용을 간결하게 정리해 드립니다.
1. CoT vs SoT: 줄글로 쓰느냐, 스케치하느냐
이해를 돕기 위해 일상적인 사례로 비교해 보겠습니다. 복잡한 길 찾기 문제를 풀 때 두 방식의 차이는 이렇습니다.
❌ 기존 CoT
“먼저 문을 열고 나가서 오른쪽으로 100m를 걷습니다. 거기서 파란 간판이 보이면 좌회전을 한 뒤에…” (너무 길고 장황함)
✅ SoT
“직진 100m → 파란 간판 좌회전 → 목적지 도착” (핵심 논리만 스케치)
SoT는 인지 과학에 기반해, 인간이 복잡한 생각을 할 때 모든 문장을 머릿속으로 읊지 않고 핵심 구조만 ‘스케치’한다는 점에 착안했습니다.
2. SoT의 3가지 핵심 ‘생각 도구’
문제의 성격에 따라 AI는 다음 세 가지 중 가장 효율적인 방식을 골라 사용합니다.
💡 개념 체이닝
Conceptual Chaining
화살표(→)나 키워드 중심의 연상 기법입니다. “원인→결과”처럼 논리적 연결 고리만 남깁니다.
🔢 청크 기호화
Chunked Symbolism
수학 문제라면 “사과가 세 개 있고…” 같은 설명 대신 바로 x = 3 같은 수식과 기호로 치환해 계산합니다.
📚 전문가 렉시콘
Expert Lexicons
길게 설명할 필요 없이 “심근경색”, “LTV” 같은 전문 용어 하나로 수많은 설명을 압축해 버립니다.
3. “누가 이 도구를 골라주나요?” — DistilBERT 라우터
매번 사람이 “이 문제는 기호로 풀어줘”라고 지정하면 번거롭겠죠? SoT는 DistilBERT라는 가벼운 AI 도우미를 라우터로 활용합니다.
질문이 들어오자마자 96.4%의 정확도로 “이건 수식이 적합해!”, “이건 키워드가 좋겠어!”라고 판단해 길잡이 역할을 해줍니다.
이 경량 라우터 덕분에 SoT는 사람의 개입 없이도 문제 유형에 최적화된 ‘생각 도구’를 자동으로 선택합니다.
4. 결과는? “지갑은 지키고 속도는 높이고”
실험 결과는 놀랍습니다. 18개의 데이터셋을 테스트했을 때의 성적표입니다.
| 지표 | Chain-of-Thought (기존) | Sketch-of-Thought (신기술) | 결과 |
|---|---|---|---|
| 토큰 사용량 | 233개 | 59개 | 약 75% 절감 |
| 정확도 | 82.24% | 82.30% | 동등 이상 |
| 최대 비용 절감 | — | 최대 84% | 압승 |
| 다국어 / 멀티모달 | 제한적 | 한국어 포함 다국어 + 이미지 | 확장성 우수 |
단순히 글자 수만 줄인 게 아닙니다. 정확도는 유지(오히려 수학 분야는 상승)하면서 비용은 최대 84%까지 아꼈다는 점이 핵심입니다. 한국어를 포함한 다국어와 이미지 인식 분야에서도 잘 작동합니다.
🏁 요점 정리: AI에게도 ‘여백의 미’가 필요하다
SoT가 증명한 것
- AI의 사고 과정을 ‘요약’한 것이 아니라, 표현 방식 자체를 재설계한 결과물입니다.
- 토큰 하나가 곧 돈이고 시간인 서비스 환경에서, 구구절절한 설명보다 날카로운 스케치 한 장이 훨씬 강력합니다.
- DistilBERT 라우터로 96.4% 정확도의 자동 도구 선택이 가능합니다.
- 한국어를 포함한 다국어 및 멀티모달 환경에서도 성능이 검증되었습니다.
이제 AI에게 무조건 “길게 설명해 봐”라고 하기보다는, “핵심 위주로 스케치해 줘”라고 말하는 것이 더 현명한 사용자(Prompt Engineer)의 자세가 아닐까 싶습니다.
혹시 여러분이 쓰시는 프롬프트에도 불필요한 ‘수다’가 섞여 있지는 않나요? 이번 기회에 AI의 사고 과정을 다이어트시켜 보시는 건 어떨까요?
