AI에게 ‘생각의 층’을 설계하라: Layer-of-Thoughts (LoT) 가이드

AI에게 단순히 “단계별로 생각하라(Chain-of-Thoughts)”고 명령하던 시대는 이제 저물고 있습니다.

수천 페이지의 법전이나 기술 문서 앞에서 AI가 엉뚱한 소리를 하는 이유는 ‘생각하는 방법’을 몰라서가 아니라, ‘무엇을 걸러내야 할지’ 기준이 없기 때문입니다.

오늘 소개할 Layer-of-Thoughts(LoT)는 AI에게 단순한 추론을 넘어, ‘제약 계층(Constraint Hierarchies)’이라는 정교한 거름망을 설치해주는 기술입니다. 복잡한 정보의 홍수 속에서 길을 잃은 여러분의 AI를 구출할 이 영리한 프레임워크를 핵심만 짚어 정리해 드립니다.

1. ‘그냥 생각하기’의 한계: 왜 기존 방식은 실패할까?

우리는 그동안 CoT(단계별 생각), ToT(트리 구조 생각) 등 다양한 기법을 써왔습니다. 하지만 법률이나 기술 문서처럼 고도의 정밀함이 필요한 영역에서는 여전히 구멍이 숭숭 뚫립니다.

[잘못된 접근] “이 법률 문서에서 관련 내용을 찾아줘” → AI는 관련 있어 보이는 모든 내용을 무더기로 쏟아냅니다. 정답은 들어있을지언정 오답(False Positives)이 너무 많아 사람이 다시 확인해야 하는 상황이 발생합니다.

[올바른 접근] “먼저 키워드로 1차 필터링을 하고, 계약법 관련 내용만 남긴 뒤, 최종적으로 조문과 대조해봐” → 구조화된 거름망으로 단계별 정제가 이루어집니다.

기존 방식은 모든 정보를 똑같은 중요도로 취급하지만, 현실의 문제는 ‘반드시 지켜야 할 규칙(Hard)’과 ‘지키면 좋은 규칙(Soft)’이 섞여 있습니다. LoT는 바로 이 지점을 파고듭니다.

2. LoT의 구조: ‘컨트롤 타워’와 ‘실무자’의 협업

LoT는 추론 과정을 마치 회사의 조직도처럼 나눕니다.

• 레이어 생각 (Layer Thought): 전체적인 방향을 잡는 컨트롤 타워입니다. “지금 단계에서는 어떤 기준으로 필터링을 할까?”를 결정하고, 결과를 취합해 다음 단계로 넘깁니다.
• 옵션 생각 (Option Thought): 현장에서 뛰는 실무자입니다. 레이어가 정해준 기준에 맞춰 실제로 문서를 읽고 정답 후보를 추려냅니다.

여기서 핵심은 제약 조건(Constraint)을 수학적으로 관리한다는 점입니다. 제약 조건 c에 대해 에러 함수 e(c, θ)를 설정하는데, 이 값이 0에 가까울수록 AI가 규칙을 완벽하게 지켰다는 뜻입니다. 한마디로 AI에게 ‘합격 기준 점수’를 주고 시험을 치게 하는 셈이죠.

3. 실전 사례: 일본 사법시험과 독일 교통법

LoT가 얼마나 효과적인지 데이터로 확인해 보겠습니다.

일본 민법 리트리벌 (COLIEE 2024)

수천 개의 조문 중 단 하나를 찾는 작업에서 LoT는 3단계 필터(키워드 → 의미 분석 → 최종 확인)를 적용했습니다.

단순히 “찾아줘”라고 했을 때보다 정확도가 약 48% 향상되었습니다. 쓸데없는 ‘가짜 정답’을 확실하게 걸러냈다는 의미입니다.

독일 교통법 규범 추출

자율주행을 위해 법원 판결문에서 핵심 문장을 뽑아내는 실험에서는 0.966이라는 경이로운 재현율(Recall)을 기록했습니다. 법률 시스템에서 가장 위험한 ‘중요 정보 누락’을 거의 완벽하게 막아낸 것이죠.

4. LoT가 주는 3가지 현실적인 이점

🎯 결론: AI에게 ‘생각의 층’을 설계해 주세요

Layer-of-Thoughts(LoT)는 AI에게 단순히 열심히 생각하라고 독촉하는 대신, 어떻게 체계적으로 걸러낼지 설계도를 주는 방식입니다.

복잡한 문제를 한 번에 해결하려 하지 마세요. 작은 제약 조건들을 층층이 쌓아 필터를 만드세요. 여러분의 AI는 훨씬 더 명확하고 신뢰할 수 있는 파트너가 될 것입니다.

한 줄 요약: AI에게 “생각해”라고 하지 말고, “어떤 층을 거쳐 생각할지”를 설계하세요.