AI의 답은 ‘결정’이 아니라 ‘제안’입니다: 검증 단계를 업무 흐름에 넣는 법

인공지능에게 실행 권한을 넘기면 안 되는 이유

더 큰 인공지능 모델을 쓰면 실행까지 맡겨도 되지 않을까 하는 생각이 들 수 있습니다. 관개 제어를 다룬 Mimir 연구가 이 생각에 한 가지 단서를 줍니다.

이 연구에서 Mimir는 작물에 물을 주는 일을 인공지능이 하루 단위로 결정하며 재배 기간 내내 이어 가도록 만든 연구입니다. 이 실험에서 거대언어모델(대량의 글로 학습한 인공지능) 크기를 키워도 성능이 꾸준히 좋아지지는 않았습니다. 이 글은 이를 모델을 키우는 일보다 모델 바깥의 구조를 설계하는 일이 중요하다는 신호로 읽습니다.

연구에서는 Mimir 시스템이 거대언어모델의 출력을 바로 실행하지 않고 제안으로 취급해 결정론적 시뮬레이터로 수치를 확인하고 수정한 뒤에만 실행하도록 설계했습니다. 여기서 결정론적 시뮬레이터는 같은 입력에 항상 같은 결과를 내도록 정해진 규칙으로 수치를 계산해 확인하는 프로그램을 뜻합니다. 또한 연구진은 물리 모델, 평가기, 실행 제약을 에이전트가 바꿀 수 없게 고정했습니다.

연구진은 여러 지역, 작물, 연도에 걸친 회고 평가(과거 자료로 결과를 다시 계산해 보는 평가)에서 Mimir가 비교 대상 중 가장 낮은 제어 비용을 기록했다고 보고했습니다. 과거 관개 일정을 그대로 재현할 때보다 물을 약 51% 적게 썼다고도 밝혔습니다. 앞으로의 상태를 미리 계산해 보는 시뮬레이션이나 검증을 거친 수정 같은 구성 요소를 하나씩 빼면 제어 비용이 올라갔습니다. 이 글은 이를 검증 단계가 성능에 기여한다는 근거로 읽습니다. 다만 51%는 이 실험의 회고 평가 결과이고, 업무 현장에서 같은 수치가 나온다는 뜻은 아닙니다.

이를 업무에 옮기는 시사점은 이렇습니다. 인공지능의 답변이 사내 데이터베이스나 결제 시스템에 곧바로 반영되도록 연결하지 않는 편이 좋습니다. 인공지능은 초안과 수치를 제안하는 작성자로 두고, 사내 규정과 예산 한도 같은 필수 제약 조건은 인공지능이 건드릴 수 없는 고정된 규칙 프로그램으로 묶어 두는 방법이 있습니다. 건축 설계사가 제안한 도면을 구조 검토 안전 소프트웨어에 통과시켜 승인하는 것과 같은 이치입니다.

답변 자체의 사실 여부를 판별하는 검증 구조에 대한 기초 원리는 본 블로그의 이전 글인 AI 환각 줄이기, 프롬프트가 아니라 검증 구조를 바꿔야 합니다에서 한 차례 다룬 바 있습니다. 이번 글은 답변 검증을 넘어 실제 업무 동작에서 실행 권한을 분리하고 사람의 검토 병목에 대비하는 방법에 집중합니다.

생산 속도가 검토 속도를 넘어설 때 생기는 병목

인공지능 에이전트(도구를 쓰며 여러 단계의 일을 스스로 이어 가는 인공지능)를 쓰면 산출물이 빠르게 쌓입니다. 그런데 산출물이 사람이 읽는 속도보다 빨리 쌓이면 새로운 문제가 생깁니다. 한 연구가 이 장면을 실험으로 보여 줍니다.

연구진은 기성 코딩 에이전트 군집(여러 에이전트를 함께 돌리는 방식)에 연구 범위와 도구, '멈추지 말고 진전하라'는 지시만 주었습니다. 과학적 아이디어는 주지 않았습니다. 그러자 몇 주 안에 최적화 이론과 물리과학 5개 분야에서 연구 노트, 논문 분량의 초고, 정형 증명(컴퓨터로 검사하는 수학적 증명)이 나왔습니다. 연구진은 그 산출물이 모두 옳거나 새롭다고 주장하지 않았고, 지금까지 확인한 범위에서 중대한 과학적 오류는 찾지 못했다고 밝혔습니다.

연구진에 따르면 에이전트들은 연구진이 검토하는 속도보다 빠르게 결과를 냈습니다. 연구진은 전체를 검토하려면 수개월이 걸릴 것으로 추정했고, 생산이 아니라 검토가 희소한 자원이 되었다고 짚었습니다. 결과물을 만드는 일보다 확인하는 사람의 시간이 더 부족해진 것입니다.

이를 업무에 옮기는 시사점은 이렇습니다. 문서나 코드를 대량으로 뽑아내도록 지시하면 검토가 밀려 팀 업무가 정체될 수 있습니다. 사람이 읽고 확인할 수 있는 시간은 하루에 한정되어 있습니다. 산출물이 그보다 많이 쌓이면 검토를 건너뛰거나 실수를 놓칠 가능성이 커집니다. 그래서 자동화의 규모는 인공지능이 만들 수 있는 양이 아니라 팀원이 하루에 검토할 수 있는 양에 맞추는 편이 좋습니다. 이 부분은 논문이 직접 권고한 내용이 아니라 이 글의 제안입니다.

검증 단계를 업무 흐름에 정착시키는 실천 3단계

아래 세 단계는 두 연구의 사례에서 이 글이 끌어낸 제안입니다. 인공지능의 제안을 검증 단계에 통과시키고, 검토 병목에 대비하는 순서입니다.

첫 번째 단계는 실행 권한과 작성 권한을 분리하는 것입니다. 인공지능에게 결제 승인, 메일 발송, 데이터 수정 권한을 직접 부여하지 않습니다. 인공지능은 오직 초안과 추천 수치를 문서 형태로 제안하게 하고, 최종 전달 버튼은 반드시 사전 정의된 필터링 도구나 담당자의 승인을 거쳐야만 작동하도록 만듭니다.

두 번째 단계는 인공지능이 바꿀 수 없는 업무 규칙을 따로 고정하는 것입니다. 할인율 상한선, 사내에서 정한 고지 문구, 결제 한도액 같은 핵심 규칙은 인공지능에게 주는 지시문에 맡기지 않고 별도의 검증 조건문으로 고정합니다. 인공지능의 제안이 이 규칙을 하나라도 어기면 자동으로 반려되게 만듭니다.

세 번째 단계는 사람이 감당할 수 있는 하루 검토 한도를 정하는 것입니다. 담당 실무자 한 명이 하루에 정밀 검토할 수 있는 초안의 개수를 사전에 정의합니다. 인공지능 생성 파이프라인의 작업 속도를 그 한도에 맞춰 조절함으로써 검토 없이 방치되는 산출물과 서두른 검토로 생기는 사고를 줄일 수 있습니다.

이 글의 제안은 두 가지입니다. 인공지능의 출력은 실행 전에 검증을 거칠 제안으로 다루고, 자동화의 양은 사람이 검토할 수 있는 만큼으로 맞춥니다. 개인의 검토 요령을 조직의 제도로 옮기는 방법은 저희 연구소가 쓴 책 『AI가 틀리는 순간을 설계하라』의 '개인의 기법을 조직의 제도로' 장에서 다룹니다.