챗GPT 표절 검사 무력화하는 ‘이것’, AI 탐지기 정확도의 진실
학교 과제나 회사 보고서를 검토할 때, “이거 혹시 챗GPT가 쓴 거 아냐?” 하는 의심, 한 번쯤 해보셨을 겁니다. 그래서 등장한 게 ‘AI 탐지기(AI Detector)’죠. “98% 확률로 인간이 작성함”이라는 결과가 뜨면 그제야 안심하곤 합니다. 그런데 최근 도쿄 공대와 MBZUAI의 연구 결과가 AI 탐지기에 대한 믿음을 완전히 깨버렸습니다.
오늘은 AI 탐지기가 무용지물이 되는 이유, 그 이면에 숨겨진 ‘프롬프트의 나비효과’에 대해 이야기해보려 합니다.
탐지기를 바보로 만든 건 ‘해킹’이 아닌 ‘매너’였습니다
우리가 AI에게 글을 부탁할 때, 단순히 “에세이 써줘”라고만 하지 않습니다. 더 좋은 결과물을 위해 보통 이렇게 덧붙이죠.
- “문법 오류 없이 깔끔하게 써줘.”
- “전문가스러운 단어를 사용해줘.”
- “논리적인 흐름으로 구성해줘.”
연구진은 이걸 ‘작업 지향적 제약 조건(Task-oriented constraints)’이라고 부르는데요. 쉽게 말해 “퀄리티 좀 높여달라”는 아주 자연스러운 요구입니다.
놀랍게도 이 평범한 요구사항이 탐지기에게는 치명적인 독이 되었습니다.
“말투만 바꿨는데” 탐지기는 혼란에 빠집니다
연구 결과, 이런 제약 조건이 하나 붙을 때마다 탐지기의 성능 편차(표준편차)가 무려 14.4점까지 벌어졌습니다.
이게 무슨 뜻이냐고요? 같은 내용의 글이라도 “전문적인 어휘를 써줘”라는 조건 하나가 붙으면, 어제는 ‘AI’라고 했다가 오늘은 ‘사람’이라고 판정한다는 겁니다.
탐지기는 보통 AI가 자주 쓰는 ‘평범하고 뻔한 단어 패턴’을 분석해서 기계 여부를 가려냅니다. 그런데 사용자가 “고급 어휘를 써줘”라고 지시하면, AI는 평소 안 쓰던 희귀한 단어(Low-frequency words)를 꺼내 듭니다.
탐지기의 착각: “어? 이렇게 어려운 단어를 쓰고 문장 구조가 복잡해? 이건 기계가 아니라 사람이 쓴 게 분명해!”
결국 내용을 바꾸거나 문장을 섞는 것보다, ‘어휘의 레벨’을 높여달라는 단순한 요청이 탐지기를 더 완벽하게 속인 셈입니다.
똑똑한 AI일수록 더 잘 숨습니다
여기서 흥미로운 포인트가 하나 더 있습니다. ‘말귀를 잘 알아듣는 똑똑한 AI’일수록 탐지하기가 더 어렵다는 사실입니다.
- ❌ 구형 모델 (Davinci-002): “전문적으로 써줘”라고 해도 잘 못 알아듣고 평소대로 씁니다. → 탐지기에 바로 걸림.
- ✅ 최신 모델 (GPT-4): 사용자의 의도를 찰떡같이 파악해서 문체를 싹 바꿉니다. → 탐지기가 사람으로 착각함.
AI 기술이 발전해서 사용자의 지시를 잘 따르게 될수록, 역설적으로 현재의 탐지 기술은 무용지물이 될 가능성이 높습니다. ‘지시 이행 능력’이 곧 ‘탐지 회피 능력’이 되어버린 것이죠.
마치며: ‘결과’가 아닌 ‘과정’을 봐야 할 때
이번 연구가 주는 메시지는 명확합니다. “완벽한 AI 탐지기는 없다”는 것입니다.
이제 단순히 탐지기 점수만 믿고 “이건 AI가 썼네, 아니네”를 따지는 건 의미가 없어졌습니다. 프롬프트 한 줄이면 뚫리는 방패를 믿기엔, AI라는 창이 너무 날카로워졌으니까요.
이제 교육이나 업무 현장에서는 ‘제출된 결과물’만 평가할 것이 아니라, 어떤 기획 의도로 접근했는지, 초안을 어떻게 수정했는지 그 ‘과정’을 평가하는 방식으로 넘어가야 합니다.
결국 도구는 도구일 뿐입니다. AI와 숨바꼭질을 하려 하기보다, 이 도구를 쥔 사람이 얼마나 고유한 가치를 만들어냈는지를 꿰뚫어 보는 안목이 필요한 시점입니다.
