AI 보안 Fail-Closed 전략: 탈옥 공격 97% 막는 다중 잠금의 비밀
우리가 믿고 있는 AI의 ‘거절’ 버튼, 사실은 생각보다 훨씬 허술합니다.
겉보기엔 단단한 철문 같지만, 사실은 특정 지점 하나만 건드리면 바로 열려버리는 ‘자동문’에 가깝거든요. 오늘은 오레곤 주립대 연구팀이 발표한 “Fail-Closed Alignment” 연구를 통해, 왜 현재의 AI 보안이 취약한지, 그리고 이를 어떻게 ‘철갑 요새’로 바꿀 수 있는지 핵심만 짚어보겠습니다.
1. 지금의 AI 보안은 왜 ‘유리턱’일까?
현재 대부분의 대규모 언어 모델(LLM)은 유해한 요청을 받았을 때 특정 ‘방향’으로 반응하도록 훈련됩니다. 문제는 이 보안 경로가 단 하나라는 점입니다.
- Fail-Open의 함정: 현재 시스템은 보안 장치에 오류가 생기면 기본값이 ‘거절’이 아니라 ‘수용’으로 풀려버립니다. 마치 도어락이 고장 나면 문이 저절로 열리는 것과 같죠.
- 급소는 하나뿐: GCG나 PAIR 같은 탈옥(Jailbreak) 공격은 바로 이 ‘거절 경로’ 하나만 집중 타격합니다. 이 경로의 활성화를 살짝만 억제해도 모델은 순식간에 무장 해제됩니다.
- 실제 위협: 연구에 따르면 특정 보안 특징(Feature) 하나만 제거해도 공격 성공률이 폭증합니다. 즉, 지금의 AI는 ‘한 놈만 패면’ 뚫리는 구조입니다.
2. 해결책: 고장 나도 잠기는 ‘Fail-Closed’ 설계
연구팀이 제시한 대안은 단순하면서도 강력합니다. “하나가 고장 나도 시스템 전체는 거절 상태를 유지해야 한다”는 안전 공학의 원칙을 AI에 도입한 것입니다.
핵심은 ‘구조적 중복성’입니다. 보안 경로를 하나만 만드는 게 아니라, 서로 독립적인 다중 경로를 구축하는 것이죠. 하나가 뚫려도 뒤에 서 있는 9개의 방어선이 버티게 만드는 전략입니다.
3. 스파르타식 훈련법: MFA 알고리즘
이 10중 보안망을 어떻게 만들까요? 연구팀은 MFA(Multi-Feature Ablation)라는 연산자를 활용해 모델을 아주 혹독하게 훈련시킵니다.
⚙️ MFA의 작동 원리
수식으로 보면 복잡해 보이지만, 원리는 간단합니다.
MFA 연산자 수식
\[ \text{MFA}_{k}(h_{l}^{t}(x)) = h_{l}^{t}(x) – Q_{k}Q_{k}^{\top}h_{l}^{t}(x) \]- 기존 경로 차단: 모델이 이미 알고 있는 ‘거절 경로’를 강제로 지워버립니다.
- 새 길 찾기: “기존 방식으로는 거절 못 하니까, 다른 방법을 찾아내!”라고 압박하는 겁니다.
- 반복 훈련: 이 과정을 10번 반복하면, 모델 내부에는 10개의 독립적인 보안 경로가 생성됩니다.
4. 숫자로 증명된 철벽 방어
말뿐인 이론이 아닙니다. Llama3와 Gemma2를 대상으로 한 실험 결과는 압도적입니다.
| 항목 | 기존 모델 | Fail-Closed 적용 모델 |
|---|---|---|
| 탈옥 공격 성공률(ASR) | 높음 | 92.3~97.2% 감소 |
| PAIR 공격 방어 | 취약 | ASR 4% 미만 유지 |
| 과잉 거부(Over-refusal) | 빈번함 | 86.4% 순응률 (정상 답변 잘함) |
| 일반 성능 저하 | — | 단 0.8% (무시해도 될 수준) |
단순히 ‘무조건 안 돼’라고 외치는 멍청한 AI가 되는 게 아닙니다. 일반적인 업무 능력은 유지하면서, 악의적인 공격에만 훨씬 강해진다는 게 핵심입니다.
5. 실무자를 위한 3가지 꿀팁
직접 도입을 고민 중이라면 이 세 가지만 기억하세요.
💡 즉시 적용 가능한 실무 가이드
- LoRA 활용: 전체 모델을 다 건드릴 필요 없습니다. 5%의 파라미터만 학습시켜도 충분히 강력합니다.
- 내 모델의 데이터 쓰기: 다른 모델의 데이터를 가져다 쓰기보다, 내 모델이 직접 뱉은 거절/순응 텍스트로 학습할 때 효과가 46.8% 더 좋습니다. 남의 옷보다 내 옷이 잘 맞는 법이죠.
- 최적의 설정: 연구팀의 추천 값은 반복 횟수(K)=10, 유틸리티 가중치(λ)=1입니다. 이 수치가 성능과 보안의 황금 밸런스입니다.
요약: 보안은 ‘학습’이 아니라 ‘구조’입니다
지금까지의 AI 보안이 “나쁜 말 하지 마”라고 세뇌하는 수준이었다면, Fail-Closed는 공격자가 침입해도 빠져나갈 수 없는 미로형 요새를 짓는 일입니다.
하나가 뚫리면 끝나는 유리 성벽에 당신의 데이터를 맡기고 계신 건 아닌가요? 이제는 구조를 바꿀 때입니다.
