Tree of Thoughts 완벽 분석:AI에게 ‘생각’을 심는 법

GPT 같은 거대언어모델(LLM)을 사용하다 보면 의아한 순간이 옵니다. 그 방대한 지식을 가지고도 단순한 논리 문제에서 엉뚱한 답을 내놓기 때문이죠.

답답하셨겠지만, 이건 모델이 멍청해서가 아닙니다. ‘생각하는 방식’이 우리와 다르기 때문입니다. 오늘은 이 문제를 해결하고 AI의 추론 능력을 비약적으로 끌어올린 Tree of Thoughts(ToT) 기법을 분석해 드립니다.

4%의 충격: 천재가 실수를 반복하는 이유

우리는 AI가 완벽할 거라 기대하지만, LLM은 태생적인 한계가 있습니다. 바로 ‘왼쪽에서 오른쪽으로(Left-to-Right)’ 텍스트를 생성한다는 점입니다.

쉽게 비유하자면, “한번 입 밖으로 뱉은 말은 절대 주워 담을 수 없고, 수정 없이 계속 말을 이어가야 하는 상황”과 같습니다. 인지심리학에서는 이를 ‘시스템 1(직관적이고 빠른 사고)’이라 부릅니다. 첫 단추를 잘못 끼워도, 되돌아가지 못하고 억지로 논리를 전개하다 보니 결과가 망가지는 것이죠.

실제로 숫자 4개로 24를 만드는 ‘Game of 24’ 테스트에서, 기존 방식(CoT)을 쓴 GPT-4의 성공률은 고작 4%였습니다.

해결책: AI에게 ‘고민’을 가르치다 (CoT vs ToT)

이 문제를 해결하기 위해 등장한 것이 Tree of Thoughts(ToT)입니다. 핵심은 간단합니다. AI에게 ‘시스템 2(느리고 숙고하는 사고)’를 장착해 주는 것입니다. 외길로만 가던 생각(Chain)을 여러 갈래의 가지(Tree)로 뻗어나가게 하는 것이죠.

기존 방식 (Chain of Thought)

“음… 이렇게 하면 되겠지? (일단 지르고 봄) → 어, 말이 안 되네? → 그래도 이미 뱉었으니 계속 가자. → 실패”

ToT 방식 (Tree of Thoughts)

“여러 방법이 있겠는데? A안, B안, C안을 보자.
A안은 가망이 없으니 버리고(가지치기), B안을 더 파고들까?
아, B안도 막혔네. 다시 돌아가서(Backtrack) C안을 시도하자. → 성공”

이 ‘탐색’과 ‘평가’ 과정을 도입하자, 4%였던 성공률은 무려 74%로 치솟았습니다.

ToT를 작동시키는 4가지 엔진

ToT가 작동하는 매커니즘을 4단계로 정리했습니다.

• 생각 분해 (Decomposition): 문제를 한 번에 풀지 않고, 작은 단위(수식 한 줄, 문단 하나)로 쪼갭니다.
• 생각 생성 (Generator): 다음 단계로 갈 수 있는 여러 가지 시나리오를 펼쳐 봅니다.
• 상태 평가 (Evaluator): (가장 중요 ⭐) AI가 스스로 “이 생각이 정답으로 갈 확률이 얼마나 되지?”를 평가합니다. 가망 없는 생각은 과감히 버립니다.
• 탐색 알고리즘 (Search): 여러 가능성을 동시에 조금씩 발전시키거나(BFS), 하나를 끝까지 판 뒤 아니면 돌아오는(DFS) 방식으로 최적의 길을 찾습니다.

결론: 언제 써야 할까요?

물론 모든 질문에 ToT를 쓸 필요는 없습니다. 비용과 시간이 많이 드니까요. 하지만 다음과 같은 상황이라면 필수적입니다.

• 수학이나 코딩처럼 초기 판단 실수가 전체 결과를 망치는 경우
• 단순 검색이 아니라, 복잡한 추론과 시나리오 검토가 필요한 기획 업무

LLM을 단순한 ‘자동 완성기’가 아닌 ‘스스로 계획하고 수정하는 에이전트’로 진화시켜야 한다는 것입니다.

앞으로 프롬프트를 작성하실 땐 “생각해 봐”라고 뭉뚱그려 지시하지 마세요. “여러 대안을 검토하고, 각 안을 스스로 평가해서, 최적의 경로를 찾아줘”라고 요청해 보시기 바랍니다. 결과의 질이 달라질 것입니다.