똑똑한 AI의 비결, ART (Automatic Reasoning and Tool-use)와 자율적 에이전트 이해하기
인공지능이랑 대화하다 보면 가끔 답답할 때가 있죠? 최신 뉴스를 물어보면 “제 학습 데이터는 여기까지입니다”라며 발을 빼거나, 초등학생도 풀 법한 수학 문제에서 엉뚱한 오답을 당당하게 내놓기도 하니까요.
똑똑한 줄 알았는데 결정적인 순간에 고개를 갸우뚱하게 만드는 AI, 그 한계를 돌파하기 위한 영리한 시스템이 등장했습니다. 바로 ART(Automatic Reasoning and Tool-use)입니다. 복잡하게 생각할 것 없습니다. 쉽게 말해 ‘스스로 생각하고, 모르면 도구(Tool)를 꺼내 쓰는 AI’라고 이해하면 됩니다.
1. 왜 지금 ‘ART’가 필요한가?
기존 AI들은 어려운 문제를 풀 때 ‘단계별로 생각하기(Chain-of-Thought, CoT)’라는 방식을 썼습니다. 하지만 여기엔 치명적인 약점이 두 가지 있었죠.
- 노가다의 연속: 사람이 일일이 추론 단계를 손으로 써서 예시를 보여줘야 했습니다.
- 장비 없는 전문가: 암산이 약하고 실시간 검색도 못 합니다. 마치 머리는 좋은데 계산기도, 인터넷도 없는 고립된 전문가 같았죠.
ART는 이 과정을 자동화(Automatic)합니다. 모델을 새로 가르칠 필요 없이, 마치 도서관에서 참고서를 꺼내 보듯 문제 해결 방식을 스스로 찾아냅니다.
2. ART의 3단계 작동 원리: AI의 ‘일머리’
ART는 단순히 지식을 나열하는 게 아니라, 일종의 ‘해결 매뉴얼’을 짜서 움직입니다.
A. 태스크 라이브러리 (지식 창고)
새로운 문제가 들어오면 AI는 과거에 비슷했던 경험을 라이브러리에서 찾아옵니다. 물리학 문제를 풀기 위해 예전에 썼던 산수 방식이나 검색 엔진 활용법을 참고하는 식이죠.
B. 일시 정지와 도구 활용 (Tool Use)
추론 도중 “이건 내가 직접 계산하기보다 파이썬 코드를 짜는 게 정확하겠는데?” 혹은 “최신 정보니 구글 검색이 필요하겠어”라고 판단하면 생성을 일시 정지합니다. 외부 도구에서 결과값을 받아온 뒤, 그 데이터를 가지고 다시 추론을 이어갑니다.
C. 아주 적은 인간의 손길 (Human Feedback)
완벽할 순 없기에 사람이 살짝 교정을 해주기도 합니다. 놀라운 건 단 5개의 예시만 수정해 줘도 성능이 비약적으로 올라간다는 점입니다. 기존 GPT-3보다 성능이 20%p 이상 점프하는 결과를 보여줬죠.
3. 숫자로 보는 ART의 실력
논문에서 증명된 데이터는 꽤 직설적입니다. 복잡한 말보다 아래 표로 정리해 드릴게요.
| 비교 항목 | 기존 방식 (Few-shot) | 자동 추론 (Auto-CoT) | ART (본 모델) |
|---|---|---|---|
| 다단계 추론 | 제한적임 | 지원함 | 강력 지원 |
| 외부 도구 사용 | 못함 | 못함 | 지원 (검색, 코드 등) |
| 확장성 | 낮음 | 낮음 | 매우 높음 |
- 성능 향상: 기존 자동 추론 방식보다 평균 22%p 높은 성능을 기록했습니다.
- 정확도: 도구를 사용할 때가 그렇지 않을 때보다 평균 12.3%p 더 정확했습니다. 역시 ‘장비 빨’은 무시 못 하죠.
4. 실전 가이드: AI에게 ‘문법’을 가르치는 법
개발자라면 ART가 사용하는 PeG(Program Grammar) 구조를 눈여겨봐야 합니다. AI의 헛소리(환각 현상)를 줄이는 강력한 브레이크가 되거든요.
Q (질문): Q1: [search] 성수동 맛집 — 사용할 도구를 명시합니다.
# (답변): #1: [도구가 가져온 결과값] — #1: 뒤에 결과값을 배치합니다.
EOQ (종료): 모든 과정이 끝나면 최종 정답을 도출합니다.
구조가 엄격할수록 논리적 일관성은 높아집니다. 파이썬의 parsimonious 라이브러리 같은 도구로 이 흐름을 관리하면 훨씬 깔끔한 시스템을 만들 수 있습니다.
결론: 스스로 진화하는 ‘자율적 에이전트’
ART는 단순히 ‘똑똑한 챗봇’을 넘어, 본인의 부족함을 인지하고 외부 도움을 빌려 문제를 해결하는 ‘자율적 에이전트’로 가는 중요한 이정표입니다.
모든 걸 AI 혼자 다 하라고 시키지 마세요. 대신 ART처럼 ‘적절한 참고서(라이브러리)’와 ‘유용한 도구’를 쥐여주는 구조를 설계해 보시기 바랍니다. 훨씬 영리한 결과를 만나게 될 테니까요.
