프롬프트 엔지니어링: AI 오류 잡는 PEP 기법 (Look Before You Leap)
AI가 똑똑한 줄 알았는데, 가끔 황당한 대답으로 사람을 당황하게 만듭니다. 복잡한 추론이 필요한 문제에서 불필요한 정보가 섞여 있으면 덜렁대는 학생처럼 뻔한 함정에 빠지곤 하죠.
오늘은 2024년 발표된 논문 ‘Look Before You Leap’을 바탕으로, AI의 지능을 즉각적으로 업그레이드하는 PEP(Problem Elaboration Prompting) 기법을 소개합니다.
원리는 간단합니다. AI에게 바로 답을 내라고 재촉하는 대신, ‘잠깐, 문제부터 뜯어보고 시작해’라고 말해주는 겁니다.
1. 문제점: AI도 ‘낚시’에 당한다
우리는 흔히 ‘단계별로 생각해봐(Chain-of-Thought)’라고 지시하면 AI가 똑똑해진다고 믿습니다. 하지만 이 방법엔 치명적인 약점이 있습니다. 문제를 잘못 이해한 상태에서 논리를 펼치면, 아주 논리적인 오답이 나온다는 점입니다.
논문에 나온 ‘장미꽃 문제’를 예로 들어보겠습니다.
질문: 꽃병에 장미가 7송이 있었습니다. 제시카가 정원에서 장미를 꺾어 왔는데, 그 정원에는 총 59송이의 장미가 있었습니다. 이제 꽃병에는 20송이의 장미가 있습니다. 제시카는 몇 송이를 꺾어 왔을까요?
사람이라면 ‘정원에 59송이가 있든 말든 무슨 상관이야?’ 하고 무시합니다. 답은 당연히 13송이(20-7)죠. 하지만 AI는 다르게 반응합니다.
❌ 잘못된 사례: 기존 방식
원래 7송이가 있었음.
현재 20송이가 됨. (여기까진 좋음)
(함정 발동) 어? 정원에 59송이가 있다고 했지?
그럼 59에서 13을 빼야 하나? 정답: 46송이.
보시다시피, AI가 ’59송이’라는 불필요한 정보(Irrelevant Sentence)에 시선을 뺏겨 엉뚱한 계산을 수행했습니다. 문제를 제대로 읽기도 전에 풀이부터 시작하려다 생긴 참사입니다.
2. 해결책: 돌다리도 두들겨 보고 건너라 (PEP)
연구진은 이를 해결하기 위해 PEP(Problem Elaboration Prompting)를 제안했습니다. 핵심은 ‘분해(Decomposing)’와 ‘명확화(Elucidating)’입니다.
프롬프트 한 줄을 추가했을 뿐인데, AI의 사고 회로는 이렇게 바뀝니다.
⭕ 올바른 사례: PEP 적용 후
상황 분해: 처음에 꽃병에 7송이 있었음.
함정 식별: ‘정원에 59송이가 있다’는 정보는? → 이건 그냥 정원에 있는 전체 꽃의 수일 뿐, 꽃병과는 상관없음.
상황 정리: 지금 꽃병엔 20송이가 있음.
풀이: 그럼 20 빼기 7만 하면 되네. 정답: 13송이.
놀랍지 않나요? AI가 스스로 ‘이 정보는 함정이구나’라고 깨닫고 무시하게 됩니다. 실험 결과, 이 방식은 GPT-3.5 기준 수학 문제 해결 능력을 약 10%나 향상시켰습니다. 모델 체급을 한 단계 높인 것과 맞먹는 효과입니다.
3. 바로 써먹는 실전 프롬프트
복잡한 이론보다 중요한 건 실전입니다. 여러분의 시스템 프롬프트나 지시문에 아래 문장을 추가해 보세요. 논문에서 검증된 가장 효과적인 문구입니다.
한국어: 주어진 질문을 더 작은 단위로 분해하고, 각 부분을 다시 말하면서 그 의미를 명확히 설명해 줘. 그 다음에 문제를 단계별로 풀어봐.
💡 언제 쓰면 좋을까요?
- 수학/논리 문제: AI가 자꾸 계산 실수를 하거나 함정에 빠질 때.
- 복잡한 업무 지시: ‘A인 경우엔 B를 하되, C라면 D를 해라’ 같이 조건이 많을 때.
- 긴 글 요약: 텍스트의 핵심을 놓치고 곁가지 정보에 집착할 때.
4. 마치며
우리는 종종 AI에게 ‘빨리 답을 내놔’라고 닦달합니다. 하지만 사람도 성급하게 덤비면 실수를 하듯, AI에게도 문제를 곱씹어볼 시간이 필요합니다.
지금 바로 여러분의 프롬프트 한 켠에 PEP(돌다리)를 놓아보세요. 그 1초의 여유가 정답률 10% 상승이라는 결과로 돌아올 겁니다.
