AI 오답 줄이는 프롬프트 엔지니어링 핵심 기법 2가지

똑똑한 AI가 초등 산수를 틀리는 이유, AI 추론 오류의 원인

인공지능의 방대한 지식에 놀라다가도 초등학생도 풀 만한 산수 문제에서 엉뚱한 답을 내놓을 때면 헛웃음이 나옵니다. 원인은 명확합니다. 인공지능은 논리적으로 사유하는 것이 아니라 그저 확률적으로 가장 어울리는 단어를 이어 붙이는 기술이기 때문입니다. 문제를 제대로 읽지도 않고 아는 지식만 급하게 쏟아내는 성급한 학생과 다르지 않습니다.

답을 내기 전 잠시 멈추고 생각하게 만드는 기술이 필요한 이유가 여기 있습니다. 단순히 답변의 정확도를 높이는 잔기술이 아니라 인공지능의 사고 체계를 제어하는 핵심적인 프롬프트 설계 전략입니다. 엉뚱한 추론 오류를 줄여주는 두 가지 방법, 문제 정교화와 연습장 기법을 살펴보겠습니다.

함정 정보를 걸러내는 문제 정교화 프롬프팅(PEP)의 효과

흔히 사용하는 실수는 질문을 던지자마자 정답을 연산하도록 내버려 두는 것입니다. 반면 효과적인 방식은 인공지능에게 질문을 받자마자 문제를 쪼개고 스스로 명확하게 정의하는 과정부터 거치도록 명령하는 것입니다. 이를 ‘문제 정교화 프롬프팅(PEP)’이라고 부릅니다.

스스로 질문을 재정의하게 만들면 계산을 시작하기 전에 전체적인 맥락을 먼저 파악하게 됩니다. 첫 단추를 잘못 끼워 전체 답변이 산으로 가는 현상을 방지하는 제어 장치가 생기는 셈입니다. 예컨대 질문을 작은 단위로 분해하고 각 부분을 다시 말해 보라고 요청한 뒤 단계별 풀이에 들어가게 만드는 식입니다.

이 방식은 실무에서 무의미한 정보를 걸러낼 때 진가를 발휘합니다. 비즈니스 현장의 데이터에는 해결하려는 문제와 상관없는 수많은 가짜 정보가 섞여 있습니다. 일반적인 인공지능은 이 군더더기 정보에 쉽게 낚입니다.

꽃병에 장미 7송이가 있었고 정원에서 더 꺾어와 20송이가 되었는데, 정원에 총 59송이의 꽃이 있었다는 정보가 불쑥 끼어들었다고 가정해 봅시다. 일반적인 지시를 내리면 인공지능은 굳이 쓰지 않아도 될 ’59’라는 숫자를 어떻게든 계산에 쑤셔 넣으려다 오답을 냅니다. 반면 문제 정교화 기법을 적용하면 문제를 쪼개는 과정에서 59송이라는 정보가 함정임을 스스로 깨닫고 필터링합니다.

단순한 계산 능력이 아니라 상황을 맥락적으로 이해하는 눈을 달아주는 방법입니다.

논리적 흐름을 추적하는 연습장 기법(스크래치패드) 활용법

더 복잡한 추론이 필요할 때는 인공지능에게 ‘연습장’을 쥐여주면 좋습니다. 이를 ‘스크래치패드(Scratchpad)’ 기법이라고 합니다. 최종 결과물을 내놓기 전에 중간 계산 과정을 메모장 영역에 기록하게 만드는 방식입니다. 단계별로 연산 과정을 쪼개고, 각 단계에서 변하는 수치를 기록하며, 앞선 결과를 다음 단계로 이어 붙이도록 규칙을 정해줍니다.

코드 리뷰나 데이터 분석처럼 논리의 흐름을 추적해야 하는 업무에서 특히 유용합니다. 개발자가 디버깅을 하듯 인공지능이 어느 지점에서 삐끗했는지 메모장을 열어보고 곧바로 교정할 수 있기 때문입니다.

AI 스스로 논리를 쌓을 수 있게 하는 사고 구조 설계

두 기법의 핵심은 결국 과정의 투명성입니다. 속도보다 중요한 것은 검증 가능한 사고의 흔적입니다. 결과물만 툭 던지는 비서보다는 자신의 판단 근거를 조리 있게 설명하는 비서가 훨씬 믿음직스럽습니다. 결과의 안전성이 최우선인 비즈니스 환경에서 인공지능에게 논리적인 발자국을 남기게 만드는 설계는 선택이 아닌 필수입니다.

프롬프트는 단순한 명령어가 아니라 인공지능의 사고 구조를 짜는 아키텍처입니다. 정답을 재촉하기보다 스스로 논리를 쌓을 수 있는 생각의 틀을 먼저 제공할 때 인공지능은 비로소 제 몫을 해냅니다.