AI 스크래치패드로 성능 200% 높이기: 구글이 찾은 프롬프트 비결
구글 리서치가 발견한 AI 성능 200% 향상의 비결, ‘연습장 한 장’의 차이.
수조 개의 데이터를 학습하고 시를 쓰는 최첨단 AI가, 정작 초등학생도 하는 3자리 숫자 덧셈에서 버벅거리는 걸 본 적 있으신가요? 솔직히 좀 당황스럽죠. 천재인 줄 알았는데 편의점 잔돈 계산도 못 하는 격이니까요.
구글 리서치 팀은 이 황당한 문제의 해답을 ‘연산 방식’에서 찾았습니다. 오늘은 AI에게 ‘연습장’ 하나 쥐여주는 것만으로 성능을 200% 끌어올리는 스크래치패드(Scratchpad) 기법을 명쾌하게 정리해 드립니다.
1. AI가 ‘암산’에 실패하는 이유: Transformer의 한계
우리가 쓰는 대부분의 언어 모델(Transformer)은 태생적으로 ‘한 번에 말하기(One-pass)’ 구조입니다.
- 암산 강요: 문장을 만들 때 단 1초의 멈춤 없이 다음 단어를 내뱉어야 합니다. 사람으로 치면 수만 자리 곱셈 문제를 암산으로 즉시 대답하라는 것과 같습니다. 틀리는 게 당연하죠.
- 고정된 생각 시간: 문제의 난이도가 높든 낮든 AI가 거치는 연산 층(Layer)은 똑같습니다. 어려운 문제라고 해서 더 깊게 고민할 시스템이 없는 겁니다.
- 눈덩이처럼 커지는 오류: 중간 계산 과정이 텍스트로 남지 않고 모델 내부(활성화 함수)에만 머뭅니다. 여기서 작은 오차가 발생하면, 그 뒤의 모든 논리가 도미노처럼 무너집니다.
2. 해결책: “생각을 종이에 적어라” (Scratchpad)
해결책은 의외로 간단합니다. 모델에게 정답을 바로 내놓으라고 재촉하지 말고, 중간 풀이 과정을 연습장에 적듯 텍스트로 출력하게 만드는 겁니다.
이 단순한 변화가 가져오는 효과는 강력합니다.
- 생각할 시간 확보: 중간 과정을 길게 적을수록 모델이 연산할 수 있는 ‘토큰’이 많아집니다. 복잡한 문제일수록 더 많이 고민할 시간을 벌어주는 셈이죠.
- 본인 글 다시 읽기: AI는 자신이 스크래치패드에 적은 앞 단계를 다시 ‘읽으면서’ 다음 단계를 수행합니다. 맥락을 놓치지 않게 됩니다.
- 오류 추적: 상태 정보를 텍스트로 명시하기 때문에, 내부적인 수치 오류가 누적되어 전체 답을 망치는 현상을 막아줍니다.
3. 수치로 증명된 ‘연습장’의 위력
연구 데이터는 생각보다 더 드라마틱합니다.
- 덧셈 (Long Addition): 연습장 없이 8자리 덧셈을 시켰을 때는 처참하게 실패했습니다. 하지만 ‘올림(Carry)’ 과정을 하나하나 기록하게 하자, 정확도가 거의 100%로 수직 상승했습니다.
- 파이썬 코드 실행: AI가 자기가 짠 코드를 스스로 실행해 보게 했습니다. 각 줄마다 변수가 어떻게 변하는지(Trace) 적게 했더니, 복잡한 루프나 조건문도 귀신같이 맞혔습니다.
“더 많은 데이터를 먹이는 것보다, 어떻게 생각하게 만들 것인가가 훨씬 효율적이다.”
— 구글 리서치 팀
4. 실전 적용: 바로 써먹는 프롬프트 템플릿
이 원리를 업무에 적용하려면, 프롬프트에 딱 하나만 추가하세요. “최종 결론 전에 스크래치패드에 사고 과정을 먼저 적어라”는 지시입니다.
# Instruction
작업을 수행할 때, 최종 결론을 내기 전에 반드시 아래의 <scratchpad> 태그 내에서
단계별 사고 과정을 먼저 출력하십시오.
# Scratchpad Rules
- 상태 추적: 각 단계 후 변화된 지표나 변수 값을 기록할 것.
- 단계별 로직: 한 번에 계산하지 말고 단계를 세분화할 것.
- 자가 검증: 이전 결과가 다음 단계의 입력값으로 적절한지 확인할 것.
# Output Format
<scratchpad>
단계 1: [논리 전개]
현재 상태: {"변수": "값"}
...
</scratchpad>
최종 결과: [요약된 결론]요약: ‘결과’보다 ‘과정’이 똑똑한 AI를 만듭니다
구글 리서치의 결론은 명확합니다. AI에게 무작정 더 많은 데이터를 먹이는 것보다, ‘어떻게 생각하게 만들 것인가’가 훨씬 효율적이라는 겁니다. 스크래치패드를 쓰면 AI가 어디서 실수했는지 눈에 보이기 때문에 수정하기도 훨씬 편해집니다.
오늘부터 여러분의 AI에게도 연습장을 하나 쥐여줘 보세요. 그동안 “왜 이렇게 멍청하지?” 싶었던 부분들이 말끔히 해결될 겁니다.
