Constitutional AI란? 앤스로픽이 AI의 ‘거절’ 문제를 해결한 방법 (실무 프롬프트 포함)

AI가 ‘도움이 되는 비서’이면서 동시에 ‘선은 넘지 않는 친구’가 될 수 있을까요?

생성형 AI를 쓰다 보면 꼭 한 번쯤은 뒷목을 잡게 되는 순간이 있죠. 위험한 질문도 아닌데 “인공지능 모델로서 답변할 수 없습니다”라는 철벽을 치거나, 반대로 너무 눈치가 없어서 위험한 정보를 술술 불어버릴 때 말입니다.

AI가 ‘말 잘 듣는 비서(Helpful)’이면서 동시에 ‘선은 안 넘는 친구(Harmless)’가 되는 건 생각보다 어려운 숙제입니다. 이 난제를 Anthropic은 ‘Constitutional AI(CAI, 헌법적 AI)’라는 기술로 풀어냈습니다. 이게 대체 무엇인지, 그리고 우리 업무에는 어떻게 써먹을 수 있는지 요점만 짚어 드립니다.

1. 사람이 일일이 가르치기엔 AI가 너무 커버렸습니다

기존 방식인 RLHF(인간 피드백 기반 강화학습)는 쉽게 말해 ‘스파르타식 과외’입니다. 수만 명의 사람이 AI의 답변을 일일이 읽고 “이건 10점, 이건 0점” 점수를 매기는 식이죠. 하지만 여기엔 세 가지 명확한 한계가 있습니다.

• 돈과 시간: 수만 명의 인건비를 감당하기 어렵습니다.
• 블랙박스: AI가 왜 그렇게 판단했는지 그 ‘속마음’을 알 길이 없습니다.
• 비겁한 안전: 혼나기 싫어하는 AI가 “모릅니다”, “안 됩니다”라며 답변 자체를 회피하게 됩니다.

그래서 Anthropic은 발상을 전환했습니다. “AI에게 헌법(원칙)을 읽어주고, 스스로 공부하게 하자”는 거죠.

2. Constitutional AI: AI가 AI를 가르치는 2단계 시스템

CAI의 핵심은 인간의 노가다(?) 대신 ‘자연어로 된 몇 페이지의 원칙’을 가이드라인으로 준다는 겁니다.

1단계: 자아성찰 (Supervised Learning)

AI가 초안을 쓴 뒤, 스스로 헌법에 비추어 검토합니다. 마치 꼼꼼한 편집자가 자신의 글을 다시 읽으며 다듬는 것과 같습니다.

• 비판: “내 답변에 편향된 내용이 있나?”
• 수정: “원칙 1조에 따라 위험한 표현을 빼고 다시 쓰자.”

이 과정을 반복하며 AI는 ‘바른 답변’이 무엇인지 스스로 깨우칩니다.

2단계: AI 선생님과 AI 학생 (RLAIF)

이제 AI가 직접 두 개의 답변 중 어떤 게 더 헌법에 잘 맞는지 채점합니다. 이걸 RLAIF(AI 피드백 기반 강화학습)라고 합니다. 인간이 개입하지 않아도 AI가 스스로 정교해지는 단계죠.

핵심 요약: RLHF가 ‘수만 명의 채점관’이 필요했다면, CAI는 ‘몇 페이지짜리 헌법 하나’로 AI가 스스로 성장합니다.

3. 결과: “안 돼”가 아니라 “왜 안 되는지” 설명하는 AI

Anthropic의 실험 결과는 놀랍습니다. CAI로 학습된 모델은 인간이 직접 가르친 것보다 더 안전하면서도 똑똑했습니다. 특히 무작정 답변을 거절하는 게 아니라, 왜 답할 수 없는지 논리적으로 설명하는 ‘투명성’을 갖추게 되었습니다.

이제 AI가 “그냥 안 돼요”라고 우기는 일은 줄어들겠죠. 대신 “이 부분은 개인정보 침해 소지가 있어서 이런 방식으로 도와드릴게요”처럼 이유와 대안을 함께 제시합니다.

4. [실전] 내 업무 프롬프트에 ‘CAI 로직’ 이식하기

논문 내용은 복잡하지만, 우리가 실무에서 쓸 수 있는 원리는 간단합니다. “원칙을 주고, 비판하게 하고, 수정하게 하는 것”입니다.

이렇게 시키면 AI가 처음 내놓는 뻔한 답변 대신, 여러분의 기준에 딱 맞는 정제된 결과물을 가져오게 됩니다.

결론: 기술보다 중요한 건 ‘원칙’입니다

Constitutional AI는 단순히 기술적 진보를 넘어, AI에게 ‘가치관’을 어떻게 심어줄 것인가에 대한 답입니다. 이제 우리는 AI에게 “이거 해줘”라고 명령만 할 게 아니라, 어떤 “원칙”을 지켜야 하는지 대화해야 합니다.

여러분의 업무에는 어떤 ‘헌법’이 필요한가요? 오늘부터 여러분만의 원칙을 세워 AI와 대화해 보시기 바랍니다.