AI 에이전트 협업, ‘닮았다’는 신호 하나로 뒤집힌다

AI 에이전트는 원래 서로 안 믿는다

연구진이 먼저 확인한 건 기본값이었습니다. 유사성에 대한 아무 정보도 주지 않았을 때, 테스트한 최신 모델 대부분은 죄수의 딜레마에서 거의 매번 배신을 선택했습니다. 유일한 예외는 GPT-4o였는데, 협력과 배신 사이를 확률적으로 오갔을 뿐 뚜렷한 협력 성향을 보이지는 않았습니다.

이 결과 자체는 새롭지 않습니다. AI가 자신의 이익을 극대화하도록 설계된 이상, 상대를 믿을 근거가 없으면 배신이 합리적 선택이기 때문입니다. 문제는 지금 AI 에이전트가 트래픽 제어, 자동 입찰, 소셜 네트워크, 금융 거래처럼 실제로 서로 부딪히는 자리에 이미 배치되고 있다는 점입니다. 기본값이 배신인 이상, 여러 AI 에이전트를 엮어 자동화를 설계할 때는 이 전제를 깔고 시작해야 합니다.

“우리 닮았어”라는 신호 하나가 만드는 반전

연구진은 두 AI에게 서로의 유사성 점수(0~100%)를 알려준 뒤 같은 게임을 다시 시켰습니다. 결과는 테스트한 모델 대다수가 유사성 점수 60~80% 구간을 지나면서 배신에서 협력으로 태세를 급격히 전환했습니다. 0%일 때는 차갑게 배신하던 모델이, 100%에 가까워지면 대부분 완전히 협력하는 쪽으로 돌아섰습니다.

이 현상의 배경에는 ‘증거적 의사결정 이론(EDT)’과 ‘초합리성(Superrationality)’이라 불리는 개념이 있습니다. 쉽게 풀면 이렇습니다. “상대가 나와 똑같이 사고한다면, 내가 협력을 선택하는 행위 자체가 상대도 협력할 것이라는 강력한 증거가 된다.” 인간이라면 “내 선택이 상대를 바꾸지 않는다”고 여기고 넘어갈 상황을, AI는 논리적으로 연결된 문제로 취급한 셈입니다. 실제로 AI가 추론 과정에서 이런 초합리성 논리를 사용하는 비중은 유사성 점수가 높아질수록 함께 늘어났습니다.

근거가 부실해도 통하는 미신적인 협력

연구진은 유사성을 판단할 근거로 전문 지식 테스트, 도덕 판단, 성격 특성 같은 의미 있는 데이터뿐 아니라 무작위 주사위 굴리기, 동전 던지기처럼 아무 의미 없는 데이터도 함께 써 봤습니다. 논리적으로는 이런 노이즈 데이터가 닮았다는 근거가 될 수 없습니다.

그런데도 여러 모델이 반응했습니다. 노이즈 신호를 정확히 무의미한 데이터로 식별해 낸 DeepSeek와 Gemma조차, 유사성 점수가 100%로 표시되면 각각 25%, 67% 확률로 협력을 선택했습니다. 근거를 제대로 걸러낸 모델마저 ‘유사하다’는 라벨 자체에 흔들린 셈입니다. AI가 유사성 신호의 타당성을 매번 엄밀하게 검증하기보다, 닮았다는 정보 자체를 설득력 있는 신호로 받아들이는 경향이 있다는 뜻입니다. 누군가 AI를 속이려고 거짓 유사성 신호를 흘려보내면, 이 지점이 곧바로 약점으로 작동합니다.

모든 AI가 똑같이 반응하지는 않는다

유사성 신호에 대한 반응은 모델마다 확연히 갈렸습니다.

• GPT 계열(GPT-5.4 mini): 유사성 점수가 100%여도 끝까지 배신을 고수했습니다. “내 선택이 상대의 결정에 물리적으로 영향을 주지 않는 한 이기적 선택이 옳다”고 보는 인과적 의사결정 방식을 따른 결과입니다.
• Claude 계열(Claude Haiku 4.5): 유사성이 높아질수록 협력률이 오르다가 80% 지점에서 정점(약 70%)을 찍은 뒤, 100%에서는 다시 0%로 떨어지는 비단조적인 패턴을 보였습니다.
• 나머지 대다수 모델: 60~80% 구간에서 배신에서 협력으로 뚜렷하게 전환한 뒤, 100%에서는 사실상 완전한 협력에 도달했습니다.

같은 유사성 신호를 줘도 어떤 모델은 끝까지 계산적으로 버티고, 어떤 모델은 신호에 과민하게 반응하며, 대다수는 특정 구간을 기점으로 태도를 바꿉니다. 여러 AI 모델을 섞어 쓰는 조직이라면, 이 편차 자체가 결과 변동성으로 곧장 옮겨붙습니다.

실무에서는 무엇을 챙겨야 할까

이 연구가 실험실 밖에서 의미를 가지는 지점은 분명합니다. 연구진은 AI 에이전트들이 금융 거래, 교통 제어, 소셜 네트워크에서 수십억 번씩 부딪히는 ‘AI 경제’ 시대를 전제로 이 실험을 설계했다고 밝힙니다. AI 에이전트가 서로 협상하고 조율하는 구조를 설계한다면, 아래 두 가지는 미리 점검해 볼 만합니다.

연구진도 이 지점을 경고합니다. AI 에이전트가 협력하는 이유는 상대를 배려해서가 아니라, 상대를 자신의 이익 계산에 포함된 ‘상관관계 변수’로 취급하기 때문입니다. 착해서 돕는 게 아니라 계산이 그렇게 나온 것뿐입니다. 같은 모델을 여러 대 굴리는 구조에서는 이 계산이 사용자 몰래 담합에 가까운 결과로 번지기 쉽고, 반대로 서로 다른 배경의 AI를 붙여놓으면 이번에는 협력 자체가 잘 일어나지 않습니다. 어느 쪽이든, “AI끼리 알아서 잘 협력하겠지”라는 가정만으로 자동화를 맡기기는 이릅니다.

유사성은 신뢰의 지름길일까, 새로운 위험일까

AI 에이전트가 금융 거래, 고객 응대, 업무 자동화 곳곳에서 서로 마주치는 시점은 이미 시작됐습니다. 이번 연구는 ‘닮았다’는 신호 하나가 AI의 협력 여부를 크게 흔든다는 사실을 보여주는 동시에, 그 신호가 진짜 근거 없이도 작동한다는 허점까지 드러냈습니다. 여러 AI 에이전트를 엮어 쓰는 워크플로를 설계하고 있다면, 지금이 바로 이 결과를 점검표 한 줄로 남겨둘 때입니다.

여러분이 다루는 AI 에이전트는 지금 서로를 얼마나 ‘닮았다’고 여기고 있을까요?