프롬프트 엔지니어링 실무, AI에게 정답 대신 오답을 가르쳐야 하는 이유
정답만 보여준 AI는 왜 실전에서 무너질까요? 오답의 흐름을 함께 제시하는 대조 프롬프팅으로 LLM의 논리 판단력을 설계하는 법을 알아봅니다.
수천만 원짜리 마케팅 보고서를 맡겼는데 AI가 초등학생도 안 할 산수 실수를 하면 헛웃음이 나옵니다. 요즘 유행하는 “단계별로 생각해보라”는 프롬프트를 정성껏 입력해도 엉뚱한 숫자가 튀어나오면 기술의 한계부터 원망하기 십상입니다.
하지만 운전 연수를 떠올려봅시다. 초보에게 “직진만 잘하면 된다”고 가르치면 반드시 사고가 납니다. “여기서 좌회전하면 역주행이니까 절대 들어가면 안 된다”고 함정을 짚어주어야 비로소 안전 운전이 가능해집니다. AI를 길들일 때도 마찬가지입니다. 무작정 정답만 쥐여주기보다 무엇이 ‘틀린 길’인지 대조해서 보여주는 훈련이 필요합니다.
정답 옆에 오답의 흐름을 나란히 세워야 하는 이유
첫 번째로 기억할 점은 정답과 오답의 논리를 나란히 보여주는 일입니다. AI에게 정답으로 가는 일방통행로만 알려주면, 실전에서 만나는 논리적 함정을 피해 가기 어렵습니다. 일부러 틀린 길로 빠지는 흐름을 정답 옆에 나란히 세워두어야 합니다.
예컨대 “A는 B이고 B는 C이므로 정답은 C”라는 모범답안만 주면 AI는 응용력을 잃습니다. 대신 “A를 B가 아닌 D로 해석하면 전혀 다른 오답이 나오니, D라는 비약을 피하고 B를 거쳐 C로 가야 한다”고 틀린 흐름을 반면교사로 삼게 해야 합니다. 그래야 AI 스스로 답변을 검증하는 눈이 생깁니다.
비즈니스 계산 오류: 숫자 위치 뒤바꿈의 함정
특히 비즈니스 계산에서 AI가 헛다리를 짚는 가장 큰 이유는 데이터의 이름표와 값을 엉뚱하게 매칭하기 때문입니다. 비용과 매출이라는 단어에 숫자를 잘못 배달하는 식입니다. 이를 바로잡으려면 수식 구조는 그대로 두되, 숫자 위치를 의도적으로 뒤바꾼 오답 예시를 보여주는 처방이 좋습니다.
정상적인 계산 예시: 총 비용 800만 원, 총 매출 2,900만 원 → 순수익 2,100만 원 → ROI 262.5%
AI가 흔히 저지르는 오답: 매출 2,900을 비용 800으로 나누기만 하고 100을 곱하지 않거나, 두 수치를 서로 바꾸어 계산하는 실수
과정의 선후 관계를 무시하고 결론부터 덥석 연결해 버린 오답을 미리 보여주어야, AI가 단순한 패턴 매칭을 넘어 각 숫자가 어떤 항목에 정확히 꽂혀야 하는지 파악합니다.
노이즈 속 핵심만 걸러내는 대조 훈련
실무 데이터는 늘 노이즈로 가득합니다. 고객이 보낸 문의 메일만 열어봐도 핵심 요구사항 외에 개인적인 감정이나 무관한 배경 설명이 절반을 넘습니다. 이때 필요한 것이 필터링 대조 훈련입니다.
“날씨가 춥고 강아지가 아파서 병원에 가야 하니 배송지를 변경해 달라”는 문장을 예로 들어봅시다. 미숙한 AI는 날씨와 강아지 이야기까지 고려하느라 엉뚱한 맥락을 짚지만, 영리한 필터링을 거치면 앞뒤 배경은 다 걷어내고 ‘배송지 변경 요청 후 물류팀 전달’이라는 알맹이만 남깁니다.
장황한 노이즈 속에서 본래 의도만 골라내는 대조 훈련을 반복하면 데이터 정제 비용도 자연스럽게 줄어듭니다.
확률로 움직이는 AI에게 명확한 경계선 긋기
이 방식이 제대로 작동하는 이유는 두 가지 안전장치 덕분입니다.
- 기준점 효과: 거대언어모델은 기본적으로 확률에 따라 가장 그럴듯한 답변을 고르는 기계입니다. 오답과 정답의 경계를 명확히 대조해주면, 추론의 방향이 중심을 잃고 흔들리지 않도록 단단히 중심을 잡습니다.
- 예방 주사 효과: 실제 업무에서 마주할 법한 오류 데이터를 예시로 먼저 겪게 함으로써, 복잡한 상황에서도 추론 궤도를 이탈하지 않도록 면역력을 키워주는 셈입니다. 지시사항을 무작정 나열하는 것보다, 위험을 관리하는 방법을 직접 보여주는 편이 훨씬 효과적입니다.
오답 노트를 공유하는 프롬프트 설계자가 되려면
그동안 우리는 AI에게 백점짜리 정답만 요구해 왔습니다. 하지만 AI를 진짜 믿음직한 파트너로 쓰고 싶다면, 무엇을 하지 말아야 하는지 담긴 오답 노트부터 공유해야 합니다.
프롬프트를 짜는 일은 단순히 명령어를 치는 행위가 아닙니다. AI가 올바른 판단을 내리도록 논리적인 울타리를 쳐주는 설계 작업에 가깝습니다. 오늘 작성하는 프롬프트 밑바닥에 AI가 저지를 법한 실수를 슬쩍 적어두어 보십시오. 내일 마주할 결과물의 질이 달라질 것입니다.
