Few-Shot Learning이란? GPT-3 논문으로 본 AI의 ‘눈치’ 학습법
AI도 눈치가 생길 수 있을까요?
우리가 새로운 스마트폰 앱을 배울 때, 수만 번의 연습을 하지는 않습니다. 그저 한두 번 눌러보고 “아, 이건 이렇게 쓰는 거구나!” 하고 감을 잡죠. 하지만 지금까지의 인공지능은 달랐습니다. 특정 작업을 수행하기 위해 수만 개의 데이터를 학습(Fine-tuning)해야만 했죠.
그런데 2020년, OpenAI는 이 상식을 뒤엎는 논문을 발표합니다. 바로 “Language Models are Few-Shot Learners”입니다. 이 논문의 주인공인 GPT-3는 단 몇 개의 예시만 보고도 새로운 업무를 수행하는 놀라운 능력을 보여주었습니다.
1,750억 개의 신경망이 만드는 기적
GPT-3가 이전 모델들과 가장 크게 다른 점은 바로 그 ‘거대함’에 있습니다. 무려 1,750억 개의 파라미터(매개변수)를 가지고 있죠. 이는 이전 모델인 GPT-2보다 100배 이상 큰 규모입니다.
논문은 말합니다. “모델이 충분히 커지면, 굳이 추가 학습을 시키지 않아도 문맥 속에서 스스로 배우는 능력이 생긴다.” 이를 In-context Learning이라고 부릅니다. 거대한 지능이 쌓이다 보니, 대화의 흐름만 보고도 “아, 지금 사용자가 나에게 번역을 시키는구나!” 혹은 “코딩 문제를 내고 있구나!”라는 것을 눈치채기 시작한 것입니다.
Zero, One, Few: AI를 가르치는 세 가지 방법
논문에서 핵심적으로 다루는 테스트 방식은 세 가지입니다.
- Zero-shot (0개): 아무런 예시 없이 지시만 내립니다. (예: “영어를 한국어로 번역해줘: Apple ->”)
- One-shot (1개): 단 하나의 예시를 보여줍니다. (예: “Apple: 사과, Banana ->”)
- Few-shot (여러 개): 10개에서 100개 정도의 예시를 보여줍니다.
놀라운 사실은, GPT-3는 예시를 많이 보여줄수록(Few-shot) 인간의 성능에 근접하거나, 때로는 특정 분야에서 기존 전문 모델을 위협하는 성적을 거두었다는 점입니다. 별도의 훈련 과정 없이 그저 ‘읽는 것’만으로 말이죠.
왜 우리가 이 논문에 주목해야 할까요?
이 논문의 발표 이후, AI 산업은 ‘데이터의 양’보다 ‘모델의 크기와 범용성’에 집중하기 시작했습니다.
- 효율성: 이제 특정 앱을 만들 때마다 수천 개의 데이터를 수집할 필요가 없습니다.
- 범용성: 한 가지 모델로 글쓰기, 코딩, 요약, 번역을 모두 할 수 있습니다.
- 인간과의 닮은꼴: 인간이 지식을 습득하는 방식과 가장 유사한 AI 모델에 한 걸음 더 다가갔기 때문입니다.
마치며: 당신의 프롬프트가 중요한 이유
이제 AI를 잘 활용하는 비결은 ‘데이터를 쌓는 것’이 아니라, ‘어떤 예시를 주어 AI의 눈치를 일깨우는가’에 달려 있습니다. GPT-3가 열어젖힌 Few-shot Learning의 시대, 여러분은 AI에게 어떤 예시를 던져주실 건가요?
“최고의 AI 활용법은 데이터 축적이 아니라, 정확한 예시 제시입니다.”
