AI 비디오 탐지, ‘속수무책’ 상태? Sora도 속이는 AEGIS 충격 결과
AI 비디오 생성 기술은 급속도로 발전했지만, 탐지 기술은 완전히 뒤처졌습니다. 싱가포르 국립대학이 발표한 AEGIS 벤치마크는 현존 최고의 AI 모델들도 정교한 가짜 영상 앞에서 무력하다는 충격적인 결과를 보여줍니다.
AI 영상의 진실성 논쟁: 기술의 신뢰는 어디로 갔을까
요즘 Sora나 KLing 같은 AI가 만든 영상을 보면 “정말 진짜 같다”는 감탄이 절로 나옵니다. 버튼 한 번에 영화 같은 장면이 펼쳐지는 걸 보면, 교육, 엔터테인먼트 등 모든 분야에서 엄청난 변화가 일어날 것이 분명해 보입니다.
하지만 동시에 많은 분이 이런 걱정을 합니다.
“이렇게 진짜 같으면, 나쁜 의도의 가짜 영상도 구별 못 하는 거 아닐까?”
맞습니다. 정교한 가짜 뉴스와 허위 정보가 퍼지면 디지털 세상의 신뢰는 뿌리부터 흔들릴 수 있습니다. 이때 우리가 기댈 곳은 하나입니다.
“그래도 AI는 AI가 알아보겠지. 가짜를 솎아내는 탐지견 같은 모델이 있잖아?”
안타깝게도, 이 안일한 믿음을 산산조각 내는 충격적인 연구 결과가 나왔습니다. 싱가포르 국립대학 등이 발표한 AEGIS라는 새로운 벤치마크는, 현재 가장 똑똑하다는 AI 모델들조차 정교한 AI 비디오 앞에서는 사실상 ‘속수무책’ 상태임을 적나라하게 보여줍니다.
이것은 단순한 기술 보고서가 아닙니다. 우리가 ‘AI 시대의 신뢰’라는 거대한 문제를 어떻게 다뤄야 하는지 근본적인 질문을 던지는 경고장입니다.
왜 우리는 무방비였을까?: ‘쉬운 시험’의 함정
지금까지 왜 이런 문제를 몰랐을까요? 문제는 AI 탐지 모델을 훈련하고 평가하는 ‘시험지(벤치마크)’에 있었습니다.
기존의 시험지들은 한마디로 ‘너무 쉬웠습니다.’
기존 벤치마크의 문제점
- 부족한 현실성: 탐지하기 너무 쉬운 조악한 가짜 영상이나, 현실과 동떨어진 애니메이션 스타일 영상이 섞여 있었습니다.
- 부족한 복잡성: 대부분 정지 이미지 탐지에 초점을 맞추다 보니, 영상의 ‘움직임’이나 ‘시간에 따른 미묘한 오류’는 잘 포착하지 못했습니다.
- 부족한 다양성: 옛날 AI 모델로 만든 결과물이 많아, Sora 같은 최신 기술의 정교함을 따라잡지 못했습니다.
마치 AI 영상 기술은 시속 300km로 질주하는 슈퍼카인데, 탐지 기술은 그 뒤를 자전거로 쫓아가는 셈이었습니다. 쉬운 모의고사에만 익숙해진 모델들은, 진짜 ‘불수능’을 만나자 속수무책으로 무너질 수밖에 없었습니다.
‘Sora가 출제한’ 지옥급 난이도 시험지: AEGIS
연구팀은 이 심각한 격차를 해소하기 위해, 완전히 새로운 ‘지옥급 난이도’의 시험지를 만들기로 합니다. 이것이 바로 AEGIS (Authenticity Evaluation Benchmark for AI-Generated Video Sequences)입니다.
AEGIS가 특별한 이유는 ‘문제 출제자’와 ‘문제 선정 방식’에 있습니다.
1. 출제자가 다릅니다 (현존 최강 AI 총동원)
AEGIS는 어설픈 가짜 영상을 쓰지 않았습니다. Sora, KLing, Pika 등 현재 가장 강력한 상용 모델과 최신 오픈소스 모델 7종을 총동원했습니다.
2. 문제 선정이 깐깐합니다 (AI도 속는 문제만 선별)
이 벤치마크의 핵심은 ‘데이터 필터링’입니다. 마치 깐깐한 입시 교사가 ‘킬러 문항’을 만드는 과정과 비슷합니다.
| 구분 | 내용 | 결과 |
|---|---|---|
| (X) 나쁜 문제 | 만화적이거나 예술 스타일의 영상, 화질이 너무 낮은 영상, AI 탐지 모델이 쉽게 맞추는 영상 | 모두 버림 |
| (O) 좋은 문제 | 오직 ‘사진처럼 현실적인’ 영상, AI 탐지 모델이 “이건 진짜 같은데요?”라고 속아 넘어간 영상 | AEGIS가 채택 |
즉, AEGIS는 AI조차 ‘진짜’라고 착각할 만큼 어려운 문제들만 엄선한 ‘최고난도 킬러 문항집‘입니다. 특히 이 중에서도 Sora와 KLing이 만든 가장 정교한 영상들은, 모델이 한 번도 본 적 없는 신유형 문제를 평가하기 위한 ‘하드 테스트 세트’로 따로 묶었습니다.
충격적인 결과: 최고의 AI 모델도 ‘속수무책’
자, 이 지옥 같은 시험지에 현존 최강의 AI 모델(Qwen2.5-VL 등)을 앉혀봤습니다.
테스트는 간단합니다. 아무런 사전 정보 없이 “이 영상이 진짜인지 가짜인지 맞춰봐”라고 묻는 ‘제로샷(Zero-shot)’ 테스트입니다.
결과는 처참했습니다.
| 테스트 대상 | 결과 | 의미 |
|---|---|---|
| ‘진짜 영상’을 보고 “이건 진짜야”라고 맞힐 확률 | 89% | 이건 잘했습니다 |
| ‘Sora/KLing 가짜 영상’을 보고 “이건 가짜야”라고 맞힐 확률 | 고작 22% | 10개 중 8개를 ‘진짜’라고 판단했다는 의미 |
이게 무슨 뜻일까요? 10개 중 8개의 정교한 가짜 영상을 ‘진짜’라고 판단했다는 의미입니다. 동전 던지기(50%)보다도 훨씬 못한, 사실상 ‘맹인’ 상태인 거죠.
심지어 “주파수, 빛, 물리 현상을 잘 살펴봐”라고 힌트(프롬프트)를 줘봤지만, 결과는 더 나빠졌습니다. 똑똑한 줄 알았던 AI가 힌트를 받고 더 헷갈려 하며 정답률이 16%까지 떨어졌습니다.
“공부해도 안 돼요”: 일반화의 벽
이렇게 생각할 수도 있습니다.
“그럼 그 어려운 AEGIS 시험지로 훈련(Fine-tuning)시키면 되잖아?”
맞습니다. 훈련은 효과가 있었습니다. 훈련 데이터와 유사한 ‘쉬운 문제’에서는 성능이 극적으로 향상되었습니다.
하지만 진짜 문제는 ‘하드 테스트 세트‘, 즉 ‘신유형 킬러 문항‘이었습니다.
AEGIS 훈련 데이터로 열심히 ‘공부’를 한 모델조차, 한 번도 본 적 없는 Sora와 KLing의 정교한 가짜 영상 앞에서는 성능이 거의 오르지 않았습니다. (F1 점수 0.52 → 0.55로 미미하게 오름)
이는 현재 모델들이 ‘일반화(Generalization)’에 처참히 실패하고 있음을 의미합니다.
- 기존 가짜 영상의 ‘특정 패턴’(예: 어색한 손가락 모양)만 암기했습니다.
- 현실의 벽: Sora처럼 ‘손가락도 완벽한’ 새로운 유형의 가짜가 등장하자, 배운 것을 응용하지 못하고 속아 넘어간 겁니다.
절망이 아닌 ‘새로운 나침반’이 필요한 이유
AEGIS 벤치마크는 우리에게 “현재의 탐지 기술로는 정교한 AI 비디오를 막을 수 없다”는 명백하고도 불편한 진실을 던져줍니다.
하지만 이 연구는 절망이 아닌 ‘새로운 시작‘을 요구합니다. AEGIS는 단순히 모델을 좌절시키는 것이 아니라, ‘어떻게 더 나은 탐지 모델을 만들 수 있는지’에 대한 ‘나침반‘과 ‘해설지‘를 제공하기 때문입니다.
AEGIS의 풍부한 주석(Annotation)
연구팀은 AEGIS 데이터셋에 풍부한 ‘해설(주석)’을 포함시켰습니다.
- 의미론 (내용): 이 비디오가 왜 가짜인지 GPT-4V가 추론한 설명
- 모션 (움직임): 물체의 미세한 움직임이 물리적으로 일관적인지 (옵티컬 플로우)
- 저수준 (흔적): 눈에 보이지 않는 미세한 주파수 패턴이나 디지털 불일치 (주파수 스펙트럼)
미래의 탐지 모델이 가져야 할 능력
결국, 미래의 AI 탐지 모델은 단순히 ‘보고’ 판단하는 것을 넘어, 영상의 움직임(모션), 내용의 논리성(의미론), 그리고 보이지 않는 디지털 흔적(저수준)까지 다각도로 분석하는 ‘멀티모달‘ 접근 방식을 취해야 함을 시사합니다.
AI가 만든 ‘창’이 이토록 날카로워진 만큼, 우리도 ‘방패’를 더 단단히 만들어야 할 때입니다. AEGIS는 그 ‘창과 방패‘의 경쟁이 새로운 국면에 접어들었음을 알리는 신호탄입니다.
결론: AI 시대의 신뢰를 다시 쌓기
Sora나 KLing 같은 생성 AI의 능력이 얼마나 뛰어나든, 그만큼 탐지 기술도 함께 발전해야 합니다. AEGIS 벤치마크는 현재의 우리가 그 책임을 다하지 못했음을 보여줍니다.
하지만 동시에, 이제부터는 어떻게 해야 하는지 분명히 제시했습니다. 더 현실적인 테스트, 더 깊이 있는 분석, 그리고 기술과 인식의 함께한 성장만이 ‘AI 시대의 신뢰’를 지킬 수 있을 것입니다.
