RAG 프롬프트 전략: 문서 다 넣으면 AI가 바보 되는 이유와 해결책
“요즘 AI는 책 수백 권 분량도 한 번에 읽는다던데(100K+ 토큰), 그냥 관련 문서 다 집어넣으면 정답 척척 내놓는 거 아니야?”
혹시 RAG(검색 증강 생성) 시스템을 준비하면서 이런 ‘행복회로’를 돌리고 계셨나요? 만약 그렇다면 잠깐 스톱. 이 글을 먼저 보셔야 합니다.
비싼 돈 들여서 시스템을 만들었는데, 정작 AI가 문서는 기가 막히게 찾아놓고 엉뚱한 답을 내놓는 황당한 상황을 마주할 수 있거든요. 우리가 흔히 하는 착각, 그리고 그 해결책을 아주 쉽게 풀어드립니다.
1. 충격적인 실험: “찾았는데 머리가 안 돌아가요”
최근 연구진이 아주 재미있는(그리고 가혹한) 실험을 하나 했습니다. AI에게 수학 문제와 코딩 문제를 풀게 시켰는데, 조건을 하나 달았습니다.
“정답 힌트가 적힌 문장을 줄게. 근데 그 앞뒤로 아무 쓸모 없는 잡담 텍스트를 엄청 많이 끼워 넣을 거야.”
마치 시험 볼 때, 교과서 500페이지 속에 정답 힌트를 딱 한 줄 숨겨놓고 찾아보라고 한 것과 같습니다. 결과는 어땠을까요?
- 검색(찾기): 완벽했습니다. AI는 그 두꺼운 텍스트 더미 속에서 힌트가 몇 페이지에 있는지 정확히 찾아냈습니다.
- 추론(풀기): 엉망이었습니다. 힌트를 손에 쥐고도 정답률이 뚝 떨어졌습니다. (무려 24%나!)
쉽게 말해, “교과서 몇 페이지에 답이 있는지는 찾았는데, 책이 너무 두껍다는 압박감 때문에 머리가 하얘져서 답을 못 쓴 상황”입니다.
2. 범인은 ‘정보’가 아니라 ‘길이’ 그 자체
보통 개발자들은 이렇게 생각합니다.
“아, 중간에 섞인 쓸데없는 정보들이 AI를 헷갈리게 했나 보다.”
하지만 실험 결과는 더 충격적입니다. 중간에 있는 텍스트를 다 지우고 ‘빈칸(공백)’으로 채워서 단순히 ‘길이’만 늘려봤거든요. 정보량은 ‘0’이고 스크롤만 길어진 셈이죠.
그런데도 AI는 멍청해졌습니다.
마치 우리가 1000페이지짜리 책을 읽을 때, 내용이 어렵지 않아도 그냥 책 두께만 봐도 지쳐서 집중력이 떨어지는 것과 똑같습니다. AI도 입력받은 데이터의 길이가 너무 길면, 정보를 처리하는 ‘지능’ 자체가 저하됩니다. 일종의 ‘데이터 소화불량’이죠.
3. 해결책: “일단 베껴 쓰고, 책 덮고 생각하자”
그럼 긴 문서는 포기해야 할까요? 아닙니다. 아주 간단한 프롬프트 수정만으로 해결할 수 있습니다. 이름하여 ‘Retrieve-then-Reason (찾고 나서 생각하기)’ 전략입니다.
AI에게 한 번에 “읽고 답해”라고 시키지 말고, 일을 두 단계로 쪼개주는 겁니다.
❌ 나쁜 시킴 (한 번에)
“야, 여기 자료 100페이지 줄 테니까 다 읽고 내 질문에 답해.”
→ 결과: AI가 읽다가 지쳐서 헛소리함.
✅ 좋은 시킴 (나눠서)
1단계: “일단 질문이랑 관련된 문장 찾아봐. 요약하지 말고 토씨 하나 틀리지 말고 그대로 베껴 써.”
2단계: “자, 이제 원본 문서는 덮어. 방금 네가 베껴 쓴 그 짧은 메모만 보고 질문에 답해.”
이렇게 하니 거짓말처럼 AI의 지능이 돌아왔습니다. 수만 페이지의 압박에서 벗어나게 해주니, 다시 똑똑하게 추론을 시작한 거죠.
4. 결론: AI에게도 ‘다이어트’가 필요합니다
우리는 그동안 “AI 성능이 좋으니까 많이 먹여도 되겠지?”라고 안일하게 생각했습니다. 하지만 이번 연구가 주는 교훈은 명확합니다.
- 과식은 금물: 아무리 좋은 AI라도 한 번에 너무 많이 읽히면 체합니다.
- 역할 분담: ‘자료 찾는 뇌’와 ‘문제 푸는 뇌’를 분리해서 쓰세요.
- 핵심은 요약: 원본을 통째로 던져주는 것보다, 핵심만 추려서(발췌해서) 던져줄 때 AI는 가장 똑똑합니다.
결국 AI 시대에도 변하지 않는 진리는 이것 같네요.
“길고 장황한 설명보다, 짧고 굵은 핵심이 최고다.”
