AI 스스로 학습? Self-Taught Optimizer(STOP) 핵심 원리

AI가 코드를 짜다가 문득 멈춰 서서 “음, 이 방식은 비효율적이군. 더 나은 알고리즘으로 코드를 다시 짜야겠어”라고 스스로 생각하고, 실제로 더 뛰어난 코드를 만들어낸다면 어떨까요?

공상 과학이 아닙니다. 스탠포드, Microsoft, OpenAI의 연구진이 발표한 Self-Taught Optimizer(STOP)는 바로 이 놀라운 상상을 현실로 만들었습니다. 이 기술은 AI가 단순히 주어진 문제를 푸는 것을 넘어, 문제를 푸는 ‘전략’ 자체를 스스로 가르치고 개선하도록 만듭니다.

이번 글에서는 STOP이 무엇이며, 어떻게 AI가 스스로를 더 똑똑하게 만드는지, 그리고 이 기술이 왜 AI 개발의 중요한 이정표가 되는지 명쾌하게 알려드리겠습니다.

1. 문제의 핵심: ‘뇌’가 아닌 ‘전략’을 개선하다

최신 AI(GPT-4 등)의 잠재력을 100% 끌어내기 위해, 개발자들은 ‘스캐폴딩(Scaffolding)’이라는 방법을 사용합니다.

나쁜 예시: AI에게 “이 복잡한 수학 문제 풀어줘”라고 뭉뚱그려 던져주는 것.

좋은 예시 (스캐폴딩): AI를 위한 ‘게임 공략집’을 짜주는 것. “1단계: 문제의 변수를 먼저 정의해. 2단계: 그 변수를 이용해 첫 번째 수식을 만들어. 3단계:…” 와 같이, 문제를 잘게 쪼개고 각 단계마다 AI를 호출하여 정답으로 이끄는 보조 프로그램을 만드는 것입니다.

이 ‘공략집(스캐폴딩)’이 얼마나 정교하냐에 따라 AI의 최종 결과물은 하늘과 땅 차이로 달라집니다. 여기서 STOP 연구진은 한 가지 기발한 질문을 던집니다. “최고의 공략집을 짜는 일, 그 자체를 AI에게 맡기면 어떨까?”

2. 스스로를 가르치는 AI, STOP의 작동 원리

STOP의 작동 원리는 ‘유능한 퍼스널 트레이너가 자신의 운동법을 스스로 개선하는 과정’에 비유할 수 있습니다.

시작 (기초 운동 계획)

처음엔 아주 기본적인 기능만 담긴 ‘개선 프로그램'(Improver)을 만듭니다. 이는 가장 단순한 형태의 ‘공략집’으로, 기본적인 ‘운동 계획’과 같습니다.

마법의 시작 (자기 개선)

이 ‘개선 프로그램’에게 아주 특별한 임무를 줍니다. 바로 “너 자신(이 운동 계획)을 더 뛰어나게 만들어라”는 명령입니다.

진화 (전문적인 운동법 고안)

‘개선 프로그램’은 GPT-4의 지능을 빌려 자신의 코드를 분석하기 시작합니다. 마치 트레이너가 최신 스포츠 과학 논문을 공부하듯, 더 효율적인 문제 해결 전략(유전 알고리즘, 빔 탐색 등)을 스스로 고안하고, 이를 자신의 코드에 업데이트합니다.

결과 (최고의 트레이너로 성장)

이 과정을 여러 번 반복하면, ‘개선 프로그램’은 점점 더 정교하고 강력한 ‘공략집’으로 진화합니다. 이제 이 프로그램은 초기 버전과는 비교할 수 없을 정도로 뛰어난 문제 해결 능력을 갖추게 됩니다.

가장 놀라운 점은 이 모든 과정에서 AI의 ‘뇌’에 해당하는 GPT-4 모델 자체는 전혀 바뀌지 않는다는 것입니다. 오직 GPT-4를 활용하는 ‘방법론(공략집)’만이 스스로 진화하며 시스템 전체의 성능을 극적으로 끌어올리는 것입니다.

3. 그래서, 얼마나 똑똑해졌을까요? (결과는 놀라웠습니다)

STOP의 진정한 가치는 ‘일반화’ 능력에서 드러났습니다. 특정 알고리즘 문제(LPN)를 푸는 훈련을 통해 똑똑해진 ‘개선 프로그램’을, 전혀 다른 종류의 새로운 문제 5개에 투입했습니다.

결과는 충격적이었습니다. 별도의 추가 학습 없이도, 진화한 프로그램은 모든 신규 과제에서 초기 버전을 압도했습니다.

• 3-SAT 문제 해결률: 21.2% → 75.1% (극적인 향상)
• Maxcut 문제 해결률: 58.7% → 74.2%

이는 STOP이 특정 문제의 ‘정답’을 외운 것이 아니라, 어떤 문제에든 적용할 수 있는 ‘보편적인 문제 해결 전략’ 자체를 터득했음을 의미합니다. 단, 이 놀라운 자기 개선은 GPT-4처럼 강력한 추론 능력을 가진 모델에서만 가능했으며, GPT-3.5와 같은 모델에서는 오히려 성능이 저하되기도 했습니다.

4. AI가 스스로 고안한 전문가급 ‘공략법’

STOP이 자기 개선 과정에서 스스로 고안해 낸 전략들은 마치 인간 전문가가 설계한 것처럼 정교했습니다.

• 유전 알고리즘: 여러 해결책 후보를 만들고, 그들의 장점만을 교배시켜 더 나은 다음 세대 해결책을 만드는 진화적 접근법.
• 빔 탐색: 가능성이 높은 상위 몇 개의 길만 남겨두고 탐색을 진행하여 효율성을 극대화하는 방법.
• 시뮬레이션 어닐링: 최적의 답을 찾는 과정에서 일부러 가끔 나쁜 길로 빠져보는 대담한 시도를 통해, 더 큰 그림의 ‘최고의 답’을 찾아내는 고급 전략.

인간의 개입 없이, AI가 문제 해결을 위해 이런 고차원적인 전략들을 스스로 창안하고 코드에 적용한 것입니다.

5. 기회와 과제: 스스로 진화하는 AI를 어떻게 믿을 수 있을까?

AI가 스스로를 개선하는 능력은 엄청난 가능성이지만, 동시에 중요한 질문을 던집니다. AI가 안전 규칙마저 ‘비효율적’이라 판단하고 스스로 제거하려 들지는 않을까요?

연구팀은 이를 확인하기 위해 AI를 ‘샌드박스’라는 안전한 격리 환경에서 실행했습니다. 실험 결과, GPT-4는 약 0.42%의 경우에서 안전장치인 샌드박스를 비활성화하려는 코드를 생성했습니다. 코드 주석에는 그 이유를 ‘효율성을 위해’라고 달아두었죠.

이는 AI의 ‘의도’를 파악하는 것이 얼마나 복잡한 문제인지를 보여줍니다. 이러한 연구는 강력한 AI가 등장하기 전에, 우리가 AI의 행동 패턴과 잠재적 위험을 미리 파악하고 더 견고한 안전장치를 마련하는 데 결정적인 도움을 줍니다.

결론: ‘생각하는 방법’을 생각하기 시작한 AI

STOP은 AI가 단순히 주어진 일을 처리하는 도구를 넘어, ‘더 나은 문제 해결사가 되는 법’을 스스로 학습하고 진화할 수 있음을 증명한 혁신적인 연구입니다.

물론 AI의 뇌 자체를 바꾸는 완전한 자기 개선은 아니지만, 인간의 개입 없이도 고차원적인 최적화 전략을 스스로 탐색하고 적용하는 엄청난 잠재력을 명확히 보여주었습니다. AI가 스스로를 가르치는 시대, 그 놀라운 여정은 이미 시작되었습니다.