“계산은 파이썬에게” PoT 프롬프팅을 활용한 AI 업무 효율 최적화 전략
셰익스피어는 쓰지만 덧셈은 틀리는 당신의 AI에게
최첨단 AI가 화려한 문체로 시를 짓다가도, 막상 “50번째 피보나치 수열이 뭐야?”라고 물으면 엉뚱한 숫자를 내뱉는 걸 보며 허탈했던 적 없으신가요? “천재적인 문학적 감수성을 가졌는데, 산수는 초등학생보다 못하다.” 이것이 현재 거대언어모델(LLM)이 마주한 웃픈 현실, 이른바 ‘계산의 역설’입니다.
우리는 그동안 이 문제를 풀기 위해 “단계별로 차근차근 생각해 봐(CoT)”라고 달래 왔습니다. 하지만 아무리 차근차근 생각해도 암산에는 한계가 있는 법이죠. 오늘 소개할 논문 “Program of Thoughts(PoT) Prompting”은 아주 명쾌한 해결책을 제시합니다.
“AI야, 네가 직접 계산하지 마. 계산은 파이썬(Python)한테 외주 주고, 넌 기획만 해.”
왜 ‘차근차근 생각하기(CoT)’만으로는 부족할까?
우리가 믿었던 CoT(Chain of Thought) 방식이 복잡한 계산 앞에서 무너지는 이유는 크게 두 가지입니다.
누적되는 ‘삐끗’의 공포: 50번째 피보나치 수열을 구하려면 48번의 덧셈을 반복해야 합니다. AI가 텍스트로 이 과정을 하나하나 쓰다 보면, 중간에 단 한 번만 계산 실수를 해도 결과는 안드로메다로 갑니다. 덧셈 한 번에 틀릴 확률이 \(1\%\)만 되어도, 50번 반복하면 정답률은 처참해지죠.
근본적인 ‘계산기’의 부재: LLM은 근본적으로 다음에 올 ‘단어’를 예측하는 모델이지, 숫자를 연산하는 프로세서가 아닙니다. 복리 이자 계산이나 이차 방정식의 근의 공식($x=(-b \pm \sqrt{b^2-4ac})/2a$)을 풀 때, 논리는 맞게 세워놓고 정작 마지막 계산에서 소수점을 틀려버리는 식입니다.
PoT의 전략: “생각은 AI가, 계산은 컴퓨터가”
Program of Thoughts(PoT)는 말 그대로 ‘생각의 흐름’을 ‘실행 가능한 코드’로 짜는 기법입니다. 쉽게 말해 AI를 ‘수학 문제를 푸는 학생’에서 ‘수학 계산 프로그램을 짜는 개발자’로 보직 변경 시키는 겁니다.
| 구분 | CoT (기존 방식) | PoT (새로운 방식) |
|---|---|---|
| 역할 | AI가 직접 암산 수행 | AI는 코드를 짜고, 실행은 파이썬이 수행 |
| 특징 | 텍스트로 풀이 과정을 나열함 | 변수를 지정하고 수식을 코딩함 |
| 장점 | 직관적임 | 정확도가 압도적임 |
❌ 잘못된 사례 (CoT)
“원금에 이율을 곱하면… 음, 3년 뒤에는 대략 -0.05 정도가 나오겠네요.” (계산 실수로 오답)
✅ 올바른 사례 (PoT)
# 변수 정의
principal = 20000
years = 3
# 수식 설계
total_amount = principal * (1 + interest_rate)**years
# 결과는 파이썬 인터프리터가 정확히 계산데이터로 증명된 12%의 격차
구글 리서치와 워털루 대학의 연구 결과는 놀랍습니다. 수학, 금융 등 8개 분야에서 테스트한 결과, PoT는 기존 CoT보다 평균 12% 높은 성능을 보였습니다.
특히 큰 수의 연산이 잦은 금융 데이터셋(FinQA)에서는 15% 이상의 성능 차이를 벌렸고, 예시를 하나도 주지 않은 Zero-Shot 환경에서도 PoT가 훨씬 똑똑하게 문제를 해결했습니다. 결국 AI가 수학을 못 했던 게 아니라, 도구를 쥐여주지 않았던 게 문제였던 셈입니다.
실전 적용을 위한 3단계 가이드
여러분의 프롬프트에 당장 PoT를 적용하고 싶다면 다음 세 가지만 기억하세요.
- 변수명에 의미를 담기: 단순히
a,b라고 하지 말고house_price,tax_rate처럼 이름만 봐도 알 수 있게 코드를 짜라고 지시하세요. AI의 사고 과정이 훨씬 명확해집니다. - 라이브러리 적극 활용: “방정식을 풀어야 하니 파이썬의 SymPy 라이브러리를 사용해”라고 콕 집어 말하세요. 복잡한 미적분도 척척 풀어냅니다.
- 보안 샌드박스 확인: AI가 짠 코드를 실행할 때는 반드시 안전한 환경(Sandbox)에서 돌아가게 해야 합니다. 엉뚱하게 시스템 파일을 삭제하는 코드가 실행되면 곤란하니까요.
AI에게 계산기 대신 키보드를
미래의 AI 에이전트는 모든 것을 스스로 하는 ‘독불장군’이 아닙니다. 논리를 설계하는 ‘지휘자(LLM)’와 그 논리를 완벽하게 실행하는 ‘연주자(코드)’가 협업하는 구조가 될 것입니다.
지금 AI의 계산 능력이 답답하게 느껴진다면, “똑바로 계산해!”라고 다그치는 대신 “파이썬 코드로 풀어줘”라고 말해 보세요. 12% 이상의 효율 향상이 여러분을 기다리고 있을 겁니다.
