AI 리더보드 1위가 우리 회사 1위가 아닌 이유: 업무용 AI 도구 고르는 3단계

순위표 점수가 우리 사무실에서 빗나가는 이유

많은 기업이 인공지능 도입을 검토할 때 널리 알려진 벤치마크 평가 리더보드를 참고합니다. 하지만 공개 리더보드에서 매긴 점수는 모델 하나만의 단독 성적이 아닙니다. 연구진(arXiv 2610.00651)은 에이전트 리더보드 22개를 분석했습니다. 순위 신뢰도는 순위가 반복해서 같게 나올 정도를 뜻하는 지표입니다. 모델과 스캐폴드를 묶은 시스템의 순위 신뢰도는 0.935~0.994로 높지만, 기반 모델 자체의 순위 신뢰도는 0.148~0.841로 낮았습니다. 여기서 스캐폴드는 프롬프트와 도구를 연결해 쓰는 방식을 뜻하며, 본 글에서는 이해를 돕기 위해 연결 방식이라고 부르겠습니다.

이 결과는 인공지능 모델이 아무리 뛰어나도 어떤 연결 방식을 결합하느냐에 따라 순위 결론이 달라질 수 있다는 점을 시사합니다. 연구에서는 프롬프트와 도구 연결 방식을 무엇으로 고르느냐에 따라 모델 순위 결론이 바뀔 수 있었습니다. 리더보드의 점수는 그 순위표가 쓴 연결 방식과 조합했을 때의 결과라고 읽는 편이 안전합니다.

이를 업무에 옮기면 외부 리더보드 순위는 특정 연구진이 짜놓은 연결 방식 안에서의 결과이므로 우리 회사 환경에서는 순위가 달라질 수 있습니다. 논문은 에이전트 평가를 다룬 연구이므로, 일반 업무에 그대로 옮긴 것은 이 글의 해석입니다. 자동차 엔진이 아무리 좋아도 어떤 변속기와 구동계를 연결하느냐에 따라 험로 주행 성능이 달라지는 것과 비슷합니다. 순위표 1등 모델이 우리 회사 업무에서도 1등일지는 직접 시험해 봐야 아는 이유입니다.

과제 수만 늘려서는 판단 신뢰도가 크게 오르지 않을 수 있습니다

새로운 인공지능 도구를 검증할 때 흔히 저지르는 실수는 동일한 프롬프트 입력창에 시험 과제 수만 계속 늘려보는 것입니다. 실무자들은 질문을 수없이 던져보며 정답률을 계산하면 더 객관적인 평가가 될 것이라고 생각합니다. 하지만 연결 방식을 바꾸지 않은 채 질문 개수만 늘리는 방식은 인공지능의 업무 적합성을 가려내는 데 한계가 있습니다.

연구에서는 연결 방식의 범위가 제한되어 있으면, 비슷한 과제를 무한히 늘려도 모델 순위 신뢰도는 최대 0.097만 오른다고 연구진은 분석했습니다. 똑같은 방식의 프롬프트와 단일 입력창 구조 안에서는 문제를 아무리 많이 풀어보게 해도 모델 선택의 신뢰성이 크게 나아지지 않을 수 있다는 뜻입니다. 이 수치는 벤치마크 평가에서 나온 값이므로, 사내 시험의 효과는 추정으로 보아야 합니다.

이를 업무에 옮기면 실무 평가에서 과제 개수만 무리하게 늘려 팀원들의 리소스를 낭비하지 말아야 합니다. 평가의 정확도를 높이는 핵심은 과제의 양이 아니라 도구를 연결하고 지시를 내리는 방식의 다양성에 있습니다. 한 가지 지시 틀 안에서 문제를 반복해 푸는 것보다 서로 다른 연결 방식을 적용해 비교하는 접근이 판단을 더 믿을 만하게 만들 것으로 보입니다.

서로 다른 평가 조건을 묶어 테스트해야 합니다

효과적인 검증을 위해서는 단일한 과제 세트에 매달리지 않고 복수의 업무 영역과 조건을 교차하여 평가해야 합니다. 고객 문의 응대, 내부 문서 요약, 데이터 정리처럼 성격이 다른 과제들을 조합해 점검하면 한 가지 과제에서 나온 우연한 결과를 줄일 수 있습니다. 다만 사내 시험의 비용과 시간이 실제로 줄어드는지는 확인된 바 없습니다.

연구에서는 서로 다른 벤치마크를 묶어 평가하면 같은 과제 예산에서 순위 신뢰도가 0.44에서 0.75로 오르고, 비용은 최대 83% 줄어들 수 있다고 연구진은 예측했습니다. 실제 측정값이 아니라 예측치입니다. 하나의 과제만 반복하는 것보다 성격이 다른 평가 세트를 결합하는 편이 순위의 일관성을 높일 수 있다는 계산입니다.

이를 업무에 옮기면 한 가지 유형의 문서만 테스트하지 말고 실제 우리 팀이 처리하는 복수 부서의 업무 샘플을 교차하여 테스트해야 합니다. 단순 과제 수만 늘리는 단편적 시험을 피하고 이질적인 업무 시나리오를 묶어 검증하면 도구를 고르는 근거를 더 단단하게 만들 수 있습니다. 이 효과는 논문이 아니라 이 글의 제안입니다.

업무용 AI 도구를 선별하는 실천 3단계

비전공 실무자와 관리자가 현업에서 인공지능 도구를 고를 때 따라 할 수 있는 3단계를 제안합니다.

첫 번째 단계는 외부 순위표 점수를 도구의 고정된 성능으로 보지 않고 참고 지표로만 분리하는 것입니다. 특정 제품의 브랜드나 벤치마크 1위 타이틀에 기대지 않고 우리 회사가 해결하려는 문제 정의에 집중합니다. 우리 팀의 주 업무가 고객 상담인지, 보고서 초안 작성인지, 수치 정산인지 목표를 구체적으로 설정합니다.

두 번째 단계는 우리 업무 환경에 맞춰 연결 방식을 두세 가지로 다변화하여 시험하는 것입니다. 단순 질문-답변 형태의 첫 번째 지시, 단계별 체크리스트를 거치는 두 번째 지시, 사내 데이터 참조 도구를 연결한 세 번째 지시 등 연결 방식을 다르게 설계합니다. 같은 모델이라도 연결 방식에 따라 산출물이 어떻게 달라지는지 직접 확인해 보시기 바랍니다. 사내 자료를 연결해 시험할 때는 고객 정보나 기밀이 들어 있지 않은 샘플로 먼저 해 보시기 바랍니다.

세 번째 단계는 서로 다른 업무 과제를 소량씩 묶어 교차 검증을 진행하는 것입니다. 동일한 질문을 무수히 던지는 대신 요약, 분류, 작성 등 서로 다른 세 가지 업무 샘플을 선정해 앞서 준비한 연결 방식들과 결합합니다. 소량의 샘플이라도 서로 다른 과제와 연결 방식을 함께 보면 한 가지 결과에 휘둘리지 않고 판단할 수 있습니다. 연구의 비용 절감 수치는 벤치마크 묶음에 대한 예측치이므로, 우리 팀의 시험에 그대로 적용된다고 보면 안 됩니다.

참고로 본 블로그의 지난 글 중 제품 간 비교를 다룬 내용이 궁금하시다면 AI 에이전트 비교, ChatGPT·Claude·Gemini 뭘 써야 할까요? 글을 확인하실 수 있습니다. 이 글은 특정 제품을 비교하지 않고 우리 조직만의 검증 기준을 세우는 방법만 다루었습니다.

더 읽을 거리로, 저희 연구소가 쓴 책 『AI가 틀리는 순간을 설계하라』 13장 '내보내기 전 믿어도 될지 점수로 읽기'에서 AI 출력의 신뢰도를 점수로 읽는 방법을 다룹니다.