Chain-of-Table: 엑셀만 보면 바보 되는 AI, 완벽하게 구제하는 법

LLM이 시는 잘 쓰면서 정작 엑셀 표는 엉뚱하게 읽는 이유, 그리고 이 난제를 해결한 Chain-of-Table 기술을 쉽게 풀어드립니다.

“이 데이터 좀 분석해 줘.” 하고 엑셀 표를 긁어서 챗GPT 같은 거대언어모델(LLM)에 던져보신 적 있나요? 시나 소설은 기가 막히게 쓰던 녀석이, 정작 표 안에 담긴 숫자는 엉뚱하게 해석하거나 환각(Hallucination) 증세를 보이곤 합니다.

왜 그럴까요? LLM은 본질적으로 텍스트를 읽는 모델이지, 엑셀러(Exceler)가 아니기 때문입니다. 오늘은 이 답답한 문제를 해결하기 위해 구글 리서치와 UCSD가 내놓은 해법, Chain-of-Table을 소개합니다. 쉽게 말해, AI에게 ‘표를 씹고 뜯고 맛보고 즐기는 법’을 가르친 기술입니다.

기존 방식은 왜 실패했을까?

지금까지 LLM에게 표를 이해시키려 했던 시도들은 크게 두 가지 한계에 부딪혔습니다.

텍스트 기반 추론 (Chain-of-Thought)

표 전체를 줄글로 풀어서 설명해 주는 방식입니다.

문제점: 사람이 표를 볼 때 모든 셀을 다 읽지 않죠? AI도 마찬가지입니다. 표가 조금만 커져도 정보 과부하가 걸려, 정작 중요한 행과 열의 관계를 놓칩니다. 복잡한 표를 말로만 설명 듣고 푼다고 상상해 보세요. 당연히 틀립니다.

프로그램 보조 (SQL/Python)

“코드를 짜서 답을 구해”라고 시키는 방식입니다.

문제점: 데이터가 깔끔할 땐 좋습니다. 하지만 현실 데이터는 지저분합니다. 예를 들어 한 셀에 홍길동 (한국)처럼 이름과 국적이 섞여 있다면? 코드는 에러를 뱉거나 엉뚱한 값을 가져옵니다.

Chain-of-Table: 표를 ‘고치면서’ 생각한다

연구진은 사람의 사고방식에 주목했습니다. 우리가 복잡한 엑셀 파일을 받으면 어떻게 하나요? 그냥 멍하니 쳐다보지 않습니다. 필터를 걸고, 필요 없는 열은 숨기고, 새로운 계산 열을 추가하며 표를 조작합니다.

Chain-of-Table의 핵심이 바로 이겁니다. “정답을 찾기 위해, 표 자체를 계속해서 수정하고 업데이트한다.”

AI는 이제 고정된 표를 읽는 게 아니라, 다음 세 단계를 반복하며 ‘동적’으로 사고합니다.

• 계획 (Planning): “이 질문에 답하려면 국적 정보가 따로 필요하겠군.”
• 생성 (Argument): “데이터에서 괄호 안의 내용만 추출하자.”
• 실행 (Execution): 실제로 표를 변형시켰습니다. 이제 이 변형된 표를 보고 다음 생각을 이어갑니다.

AI에게 쥐여준 5가지 연장

이 프레임워크는 AI를 숙련된 데이터 분석가로 만들기 위해 5가지 핵심 도구를 제공합니다.

• 열 추가 (f_add_column): 가장 중요한 도구입니다. 메시 (아르헨티나) 같은 셀에서 ‘아르헨티나’만 쏙 뽑아 새로운 열을 만듭니다. 비정형 데이터를 정형화하는 과정이죠.
• 행 선택 (f_select_row): 질문과 관련 없는 데이터는 과감히 쳐냅니다. (Row 필터링)
• 열 선택 (f_select_column): 필요한 정보(Column)에만 집중합니다.
• 그룹화 (f_group_by): “국가별 인원수는?” 같은 질문에 답하기 위해, 같은 속성끼리 묶습니다. LLM이 제일 못하는 단순 숫자 세기 실수를 원천 차단합니다.
• 정렬 (f_sort_by): 순위나 크기 비교를 위해 데이터를 줄 세웁니다.

결과: 덩치가 커져도 똑똑하다

성능은 어땠을까요? PaLM 2, GPT-3.5 등 모델을 가리지 않고 기존 방식보다 월등한 정확도를 보였습니다.

특히 인상적인 건 ‘긴 호흡’입니다. 표의 크기가 커지면(4,000 토큰 이상) 기존 모델들은 성능이 수직 낙하했지만, Chain-of-Table은 필요한 정보만 요약하고 추출하며 추론하기 때문에 흔들림이 없었습니다. 심지어 더 적은 단계로 더 정확한 답을 찾아내니 효율성 측면에서도 합격점입니다.

마치며

Chain-of-Table은 LLM이 데이터를 대하는 태도를 ‘관찰자’에서 ‘조작자’로 바꿨습니다. 이는 앞으로 기업용 AI 에이전트가 수천 줄짜리 엑셀 파일이나 복잡한 금융 보고서를 분석할 때 핵심적인 기술이 될 것입니다.

여러분의 AI 서비스가 아직도 표만 보면 횡설수설하나요? 그렇다면 이제 AI에게 ‘생각하는 테이블’을 선물할 때입니다.