토큰 22% 아끼는 법! AI 에이전트 비용 절감과 Focus 아키텍처 가이드
AI 에이전트가 일할수록 느려지고 비용이 폭증하는 이유는 ‘컨텍스트 비만’ 때문입니다. 슬라임 금형에서 영감을 얻은 Focus 아키텍처의 ‘전략적 망각’으로 성능은 유지하면서 토큰을 22% 절감하는 방법을 알아보세요.
AI 에이전트가 수백 개의 파일을 읽고 코드를 고치는 시대입니다. 하지만 에이전트를 써보신 분들은 알 겁니다. 일을 시키면 시킬수록 점점 느려지고, 멍청해지며, 결정적으로 ‘돈’을 엄청나게 잡아먹는다는 걸요.
원인은 명확합니다. 기억력(Context)이 너무 좋아서 탈인 겁니다. 오늘은 이 문제를 해결하기 위해 ‘슬라임’에게서 영감을 얻은 혁신적인 구조, Focus 아키텍처를 소개합니다. 핵심은 “잘 기억하는 것보다 잘 잊는 것이 실력”이라는 점입니다.
1. LLM 에이전트의 ‘비만’이 위험한 이유
우리는 흔히 컨텍스트 윈도우가 크면 클수록 좋다고 생각합니다. 하지만 현실은 다릅니다. 정보가 쌓일수록 에이전트는 다음과 같은 세 가지 질병에 시달립니다.
- 지갑 브레이커 (Cost): 대화가 길어질수록 매번 수만 토큰을 다시 읽어야 합니다. 비용이 기하급수적으로 뜁니다.
- 답답한 속도 (Latency): 읽어야 할 양이 많으니 첫 마디를 떼는 데 한 세월 걸립니다.
- 지능 저하 (Lost in the Middle): 쓸데없는 에러 로그나 중간 과정이 쌓이면, 정작 중요한 지시사항을 미로 속에서 놓쳐버립니다.
요리할 때 주방 조리대를 한 번도 안 치우고 계속 재료를 쌓아두는 것과 같습니다. 결국 칼 하나 찾으려고 온 주방을 다 뒤져야 하는 상황인 거죠.
2. 슬라임에게 배우는 ‘전략적 망각’
연구진은 미로를 찾는 ‘슬라임 금형(Slime Mold)’이라는 생물에 주목했습니다. 이 녀석들은 먹이를 찾으러 갈 때, 막다른 길에 다다르면 미련 없이 몸을 철수시킵니다. 대신 그 자리에 ‘여긴 꽝이야’라는 화학적 표식만 남깁니다.
Focus 아키텍처는 이 원리를 AI에 이식했습니다. 모든 시행착오 로그를 다 들고 있는 게 아니라, “A 방법은 안 됐고 B 결론을 얻었음”이라는 핵심 요약본(Knowledge Block)만 남기고 나머지는 가차 없이 삭제(Pruning)하는 방식입니다.
3. ‘톱니형(Sawtooth)’ 기억 관리법
기존 에이전트의 기억이 우상향하는 일직선이었다면, Focus 에이전트는 톱니 모양을 그리며 효율을 챙깁니다. 작동 원리는 아주 깔끔합니다.
- 1 시작 (start_focus): 새로운 작업을 시작할 때 ‘체크포인트’를 찍습니다.
- 2 수행: 평소처럼 도구를 써서 일을 합니다. 이때 로그가 쌓이죠.
- 3 압축 (complete_focus): 작업이 끝나면 배운 점만 요약하고, 1번과 3번 사이의 지저분한 과정은 통째로 삭제합니다.
주방으로 치면, 양파 손질이 끝나는 즉시 껍질은 쓰레기통에 버리고 손질된 양파(결과물)만 도마에 남기는 것과 같습니다. 조리대가 항상 깨끗하니 요리 속도가 빠를 수밖에 없습니다.
4. 숫자로 증명된 효과: “성능은 그대로, 비용은 -22%”
Claude Haiku 4.5 모델을 대상으로 소프트웨어 엔지니어링 과제(SWE-bench)를 수행한 결과입니다.
| 구분 | 기존 방식 | Focus 아키텍처 | 변화 |
|---|---|---|---|
| 토큰 소모량 | 14.9M | 11.5M | 22.7% 절감 |
| 성공률 | 60% | 60% | 동일 |
💡 주목할 포인트
특히 복잡한 버그 수정 작업에서는 최대 57%까지 토큰을 아꼈습니다. 다만, 이전 정보를 계속 뒤져봐야 하는 반복 수정 작업(pylint 등)에서는 압축하는 과정 자체가 비용(Overhead)이 될 수 있다는 점은 유의해야 합니다.
5. 실무 적용을 위한 ‘공격적 압축’ 팁
이 기술을 당장 여러분의 에이전트에 적용하고 싶다면, 단순히 “요약해줘”라고 부탁하는 것으론 부족합니다. ‘공격적인 프롬프팅’이 필요합니다.
- 강제 규칙: “도구 호출이 10회 넘어가면 무조건 요약하고 로그를 비워”라고 명시하십시오.
- 결론 중심: 상세한 에러 메시지 대신 “어디에 어떤 문제가 있음”이라는 ‘지식 결론’만 남기도록 유도하세요.
- 단계적 전환: 탐색, 이해, 구현 등 흐름이 명확한 작업일수록 효과가 극대화됩니다.
결론: AI도 이제는 다이어트가 필요할 때
무조건 많이 기억하는 게 능사인 시대는 지났습니다. 컨텍스트 윈도우가 100만, 200만 토큰으로 늘어나도 결국 비용과 지능의 한계는 찾아옵니다.
Focus 아키텍처는 AI가 ‘무엇을 잊어야 할지’ 스스로 결정하게 함으로써 이 문제를 정면으로 돌파합니다. 여러분의 AI 에이전트가 유독 비싸고 둔하게 느껴진다면, 오늘부터 ‘전략적 망각’의 지혜를 가르쳐보시는 건 어떨까요?
비용은 줄어들고, 지능은 더 날카로워질 겁니다.
