액티브 프롬프팅: LLM 성능을 극대화하는 가장 효율적인 방법

LLM, 어떻게 가르쳐야 더 똑똑해질까요?

대규모 언어 모델(LLM)을 다뤄보셨다면 한 번쯤 이런 답답함을 느끼셨을 겁니다. 분명히 예시(프롬프트)까지 보여주며 질문했는데, LLM이 복잡한 계산이나 추론 문제에서 계속 헛다리를 짚는 경우 말이죠.

이는 우리가 LLM에게 “어떻게 풀어야 하는지”는 보여줬지만, 정작 LLM이 “무엇을 가장 헷갈려 하는지”는 고려하지 않았기 때문입니다. 마치 모든 학생에게 똑같은 수학 문제 5개만 풀게 하는 것과 같습니다. 어떤 학생은 분수를, 다른 학생은 도형을 어려워하는데 말이죠. 최고의 선생님은 학생이 뭘 모르는지부터 파악하지 않겠어요? 😉

이런 문제의식에서 출발한 아주 똑똑한 학습법이 있습니다. 바로 ‘액티브 프롬프팅(Active-Prompt)’입니다. 이 방법은 LLM이 스스로 “저 이 문제가 제일 헷갈려요!”라고 손들게 만든 다음, 그 문제만 집중적으로 가르쳐주는 과외 방식과 같습니다.

이 글에서는 액티브 프롬프팅이 기존 방식과 무엇이 다른지, 어떤 원리로 작동하는지, 그리고 왜 이것이 LLM 교육의 새로운 패러다임이 될 수 있는지 쉽고 명쾌하게 설명해 드리겠습니다.

무엇이 문제였을까요?: 기존 방식의 한계

기존에도 LLM의 추론 능력을 높이기 위한 좋은 방법이 있었습니다. 바로 ‘사고의 연쇄(Chain-of-Thought, CoT)’ 기법입니다. 문제와 함께 단계별 풀이 과정을 예시로 보여주면, LLM이 그 과정을 학습해 복잡한 문제도 곧잘 풀어냈죠.

하지만 여기엔 한 가지 맹점이 있었습니다.

잘못된 방식: 전문가가 “이 정도면 좋은 예시겠지?”라고 생각하며 몇 개의 문제를 임의로 고릅니다. 혹은 방대한 데이터 속에서 무작위로 몇 개를 뽑아 LLM에게 보여줍니다.

문제점: 이렇게 뽑은 예시가 지금 풀어야 할 문제에 최적화되었다는 보장이 없습니다. LLM이 이미 잘 아는 유형의 문제일 수도 있고, 반대로 너무 동떨어져 도움이 안 될 수도 있죠. LLM의 잠재력을 100% 끌어내지 못하는 비효율이 발생하는 겁니다.

결국 핵심은 ‘가장 가르칠 가치가 있는 질문’을 어떻게 찾아내는가입니다. 액티브 프롬프팅은 바로 이 지점에서 출발합니다.

핵심 원리: LLM의 ‘헷갈림’에서 배운다

액티브 프롬프팅의 아이디어는 간단합니다. LLM이 가장 불확실하게 여기는, 즉 가장 헷갈려 하는 질문이야말로 최고의 학습 자료라는 것이죠.

친구에게 길을 물어봤다고 상상해 보세요. 친구가 매번 조금씩 다른 길을 알려준다면, 우리는 그 친구가 그 길을 잘 모른다고 확신할 수 있습니다. LLM도 마찬가지입니다.

하나의 질문을 여러 번 던졌을 때 LLM이 내놓는 답변이 제각각이라면, 그건 LLM이 해당 유형의 질문에 대해 확신이 없다는 가장 강력한 신호입니다. 액티브 프롬프팅은 바로 이 ‘불확실성’을 기준으로 가장 학습 효과가 높은 질문들을 선별해냅니다.

어떻게 작동하나요?: 4단계 맞춤 과외 프로세스

액티브 프롬프팅의 과정은 학생의 약점을 진단하고 맞춤형 교육을 제공하는 4단계 과정과 놀랍도록 닮아있습니다.

1단계: 약점 진단 (불확실성 측정)

먼저 정답이 없는 수많은 질문을 준비합니다. 그리고 각 질문을 LLM에게 여러 번(예: 10번) 던져 답변을 생성하게 합니다. 이때 LLM이 내놓은 10개의 답변이 얼마나 일관성이 없는지를 ‘헷갈림 점수(불확실성 점수)’로 계산합니다.

• 높은 헷갈림: “답이 ‘3’이야”, “아니, ‘5’인 것 같아”, “‘3’인가?”처럼 답변이 여러 갈래로 나뉘고, 특정 답에 자신감이 없는 상태입니다.
• 낮은 헷갈림: 10번 물어봐도 10번 모두 “정답은 ‘3’입니다”라고 일관되게 답하는 상태입니다.

2단계: 핵심 과제 선정 (질문 선택)

1단계에서 매긴 ‘헷갈림 점수’를 기준으로 모든 질문을 줄 세웁니다. 그리고 가장 점수가 높은, 즉 LLM이 가장 머리를 긁적였던 질문들만 상위 N개 고릅니다.

3단계: 정답과 해설 제공 (전문가 첨삭)

이제 사람이 나설 차례입니다. 하지만 모든 문제에 답을 달 필요는 없습니다. 2단계에서 고른 가장 교육 효과가 높은 소수의 질문들에 대해서만 전문가가 직접 정확한 풀이 과정(사고의 연쇄)과 정답을 작성해 줍니다. 최소한의 노력으로 최대의 효과를 내는 것이죠.

4단계: 실력 향상 확인 (추론 및 평가)

마지막으로, 3단계에서 전문가가 만들어준 고품질 맞춤형 예시를 프롬프트에 넣어 새로운 문제를 풀게 합니다. 결과는 어떨까요? 무작위로 뽑은 예시를 썼을 때와는 비교할 수 없을 정도로 정확도가 향상됩니다.

그래서, 효과는 있었나요? (결론: 매우 인상적입니다)

물론입니다. 연구 결과는 액티브 프롬프팅의 효과를 명확하게 증명했습니다.

• 압도적인 성능: 8개의 복잡한 추론 테스트에서 액티브 프롬프팅은 기존의 다른 기법들보다 평균 7% 이상 높은 성능을 기록했습니다.
• ‘선택의 중요성’ 입증: 똑같은 전문가가 예시를 만들었더라도, ‘무작위로 뽑은 질문’으로 학습시킨 경우보다 ‘LLM이 헷갈려 한 질문’으로 학습시킨 액티브 프롬프팅의 성능이 훨씬 높았습니다. 이는 좋은 예시 자체보다 ‘어떤 질문을 고르는가’가 더 결정적이라는 사실을 보여줍니다.
• 뛰어난 범용성: 흥미롭게도, 가장 강력한 모델(예: GPT-4)이 어려워하는 질문은 그보다 조금 성능이 낮은 모델(예: GPT-3.5)에게도 좋은 학습 자료가 되었습니다. 즉, 잘 고른 질문 하나로 여러 LLM을 효율적으로 가르칠 수 있다는 의미입니다.

결론: LLM 훈련의 새로운 패러다임을 향하여

액티브 프롬프팅은 단순히 더 좋은 프롬프트를 만드는 기술을 넘어, LLM을 ‘교육’하는 방식에 대한 근본적인 관점의 전환을 제시합니다.

이제 우리는 LLM에게 무작위로 지식을 주입하는 시대를 지나, LLM이 보내는 ‘불확실성’이라는 신호를 길잡이 삼아 가장 필요한 지식을 정확하게 가르치는 시대로 나아가고 있습니다. 액티브 프롬프팅이 우리에게 주는 시사점은 명확합니다.

• 최소 노력, 최대 효과: 모든 데이터에 사람이 개입할 필요 없이, 가장 정보 가치가 높은 소수의 데이터에만 집중하여 비용과 시간을 획기적으로 절약할 수 있습니다.
• 지속적인 레벨업: 새로운 데이터가 생길 때마다 LLM이 무엇을 어려워하는지 다시 진단하고, 그에 맞는 예시를 추가해주면 LLM을 끊임없이 성장시킬 수 있습니다.
• 모델의 약점 파악: LLM이 어떤 유형의 질문을 헷갈려 하는지 분석하면, 해당 모델의 약점을 파악하고 보완하는 진단 도구로도 활용할 수 있습니다.

LLM에게 무작정 책 한 무더기를 던져주는 대신, 이제는 무엇을 모르는지 먼저 물어보고 가장 필요한 부분부터 가르쳐주는 스마트한 교육을 시작할 때입니다.