RAG 컨텍스트 압축: AI 할루시네이션 잡고 API 비용 30배 아끼는 법

🧭 AI가 긴 문서를 읽다가 길을 잃지 않게 돕는 법: ‘구조’의 힘

RAG(검색 증강 생성) 시스템을 구축하다 보면, 누구나 한 번쯤 마주하는 답답한 순간이 있습니다.

PDF 문서는 산더미처럼 쌓여 있는데, 이걸 AI에게 다 먹이자니 비용이 걱정되고, 중요한 부분만 잘라주자니 문맥이 끊길까 걱정되시죠? 무엇보다 가장 속상한 건, 비싼 돈 들여서 긴 문서를 다 넣어줬는데 정작 AI가 “어? 그 내용은 못 봤는데요?”라며 딴청을 피울 때입니다.

오늘은 이 답답함을 뻥 뚫어줄 새로운 길, ‘EDU 기반 컨텍스트 압축’ 이야기를 해드리려 합니다.

왜 AI는 자꾸 까먹을까요?

우리가 쓰는 LLM(거대언어모델)은 사실 굉장히 성실하지만, 융통성은 좀 부족한 독자입니다.

책을 읽을 때 우리는 목차를 보고 필요한 챕터로 점프하잖아요? 그런데 AI는 첫 페이지 첫 줄부터 마지막 페이지 끝 줄까지, 마치 끝이 없는 두루마리 휴지를 풀 듯 일직선(Linear)으로 읽어 내려갑니다.

여기서 문제가 생깁니다.

• “Lost in the Middle” 현상: AI는 신기하게도 글의 처음과 끝은 잘 기억하는데, 중간에 있는 내용은 쓱 지나쳐버리는 버릇이 있습니다.
• 비효율의 극치: 필요 없는 내용까지 다 읽느라 토큰 비용은 비용대로 나가고, 정작 머릿속은 뒤죽박죽이 되어버리는 거죠.

무작정 줄이는 게 답은 아닙니다

비용을 아끼려고 문서를 듬성듬성 자르거나(Chunking), 요약을 시키기도 합니다. 하지만 이 방법도 완벽하진 않아요.

• 기존 요약: “내용을 줄여줘”라고 시키면, AI가 말을 새로 지어내다가(Re-writing) 팩트를 왜곡할 위험이 있습니다. 소설을 쓰기도 하죠.
• 우리가 원하는 것: 원본의 팩트는 그대로 두되, 불필요한 군더더기만 쏙 빼내는 것입니다.

새로운 해결책: 텍스트에 ‘지도’를 그려주세요

최근 발표된 연구(LingoEDU)는 아주 스마트한 접근법을 제시합니다. 바로 텍스트를 그냥 나열하는 게 아니라, ‘나무(Tree)’ 모양의 지도로 만드는 겁니다.

이 과정은 크게 두 단계로 나뉩니다.

Step 1. 의미 단위로 쪼개고 묶기

문서를 단순히 글자 수로 자르지 않고, ‘의미가 통하는 최소 단위(EDU)’로 쪼갭니다. 그리고 이 조각들이 서로 어떤 관계인지(주제-부연 설명, 원인-결과 등)를 파악해 구조적인 트리를 만듭니다.

Step 2. 필요한 가지만 톡 떼어내기

사용자가 질문을 던지면, 그 질문에 대답하는 데 필요한 나뭇가지(문맥)만 골라냅니다.

💡 핵심 포인트: 좌표(Coordinate) 시스템
이 기술의 진짜 매력은 AI가 말을 지어내지 않는다는 점입니다. 대신 “원본 문서의 10번째 줄부터 15번째 줄을 보세요”라고 정확한 좌표를 찍어줍니다.

수식으로 표현하면 다음과 같습니다: \( n_j = (h_j, l_j, \sigma_j) \)

(여기서 \(\sigma_j\)가 바로 원본 텍스트의 위치를 가리키는 좌표입니다.)

덕분에 ‘없는 말을 지어내는 환각(Hallucination)’ 걱정 없이, 원본의 무결성을 지킬 수 있죠.

그래서, 얼마나 좋아지나요?

엔지니어분들이 가장 궁금해하실 부분, 바로 ‘성능’과 ‘비용’입니다.

💸 지갑을 지켜줍니다

이 구조를 만드는 데 드는 비용은 문서당 약 1원($0.0007) 수준입니다. GPT-4o API를 쓰는 것보다 30배나 저렴합니다.

🧠 더 똑똑해집니다

GPT-4o보다 문서의 구조를 파악하는 능력이 더 뛰어납니다(정확도 약 10% 포인트 우위).

📈 정답률이 오릅니다

복잡한 추론이 필요한 질문에서도 정답을 맞힐 확률이 50% 이상 껑충 뛰었습니다.

이제는 ‘길이’가 아니라 ‘구조’를 볼 때입니다

지금까지 우리는 “어떻게 하면 더 많은 텍스트를 한 번에 넣을까?”를 고민해 왔습니다. 하지만 무조건 많이 넣는다고 능사는 아닙니다. 오히려 AI의 머리만 복잡하게 만들 뿐이죠.

이제는 관점을 바꿔보세요.

“AI에게 모든 텍스트를 다 던져주는 대신, 잘 정돈된 지도를 쥐여주면 어떨까?”

여러분의 서비스가 긴 매뉴얼이나 법률 문서, 논문을 다루고 있다면, 이 구조적 압축(Structured Compression) 방식이 비용 절감과 성능 향상이라는 두 마리 토끼를 잡는 열쇠가 되어줄 것입니다.