에이전트 워크플로우 자동화: ReAct부터 AutoGen, Mass까지

최근 AI 모델(LLM)을 활용해 본 분이라면, 누구나 비슷한 한계에 부딪혔을 것입니다. 바로 “프롬프트 하나만으로는 실제 세상의 복잡한 문제를 해결하기 어렵다”는 점입니다.

이 한계를 넘기 위해, AI 개발 패러다임은 여러 LLM 호출과 외부 도구 사용을 체계적으로 묶는 ‘에이전트 워크플로우 자동화’로 진화하고 있습니다.

왜 이것이 중요할까요? 잘 설계된 워크플로우는 개발 생산성을 극적으로 높이고, LLM의 고질적인 ‘환각(Hallucination)’ 현상을 줄이며, 결과물의 신뢰성을 극대화하기 때문입니다.

이 글에서는 LLM 에이전트 기술이 단순한 ‘생각의 사슬(CoT)’에서 시작해, 여러 에이전트가 협업하는 AutoGen, 그리고 워크플로우 설계 자체를 자동화하는 AFLOW, Mass에 이르기까지 그 핵심 아키텍처의 진화 과정을 분석하고, 여러분의 프로젝트에 적합한 전략을 제안합니다.

1. 기본기: 생각하고 행동하기 (CoT & ReAct)

LLM이 지능형 에이전트로 작동하기 위한 첫 번째 과제는 ‘생각(추론)’과 ‘행동(상호작용)’을 결합하는 것이었습니다.

생각의 사슬 (Chain-of-Thought, CoT)

가장 기본입니다. LLM이 최종 답변을 내기 전에, 중간 추론 과정을 명시적으로 생성하도록 유도하는 기법입니다. 복잡한 문제를 논리적인 하위 단계로 분해하여 정확도를 높이는, 모든 에이전트 프레임워크의 개념적 출발점입니다.

추론과 행동의 시너지: ReAct

ReAct는 여기서 한 걸음 더 나아가, LLM의 언어적 추론(Reasoning)과 외부 도구 사용(Acting)을 결합했습니다. ReAct 에이전트는 ‘생각 → 행동 → 관찰’이라는 명확한 루프를 반복합니다.

• (생각) 현재 정보를 바탕으로 계획을 세워 다음 행동(예: API 호출)을 결정합니다.
• (행동/관찰) 외부 도구(예: 위키피디아 API)로 얻은 새로운 정보(관찰)를 다시 추론 과정에 통합합니다.

이 구조는 LLM 내부 지식의 한계와 환각을 극복하게 해주며, 모든 작업 궤적이 기록되어 디버깅이 쉽다는 강력한 장점이 있습니다.

ReAct의 한계:

ReAct는 ‘혼자서 검색하며 일하는 전문가’와 같습니다. 한 명이 검색 엔진을 쓰며 문제를 푸는 작업에는 뛰어나지만, ‘코더’, ‘리뷰어’, ‘테스터’처럼 명확한 역할 분담이 필요한 복잡한 협업에는 구조적으로 부적합합니다.

2. 팀플레이: 전문가 여럿이 협업하기 (AutoGen & HMAW)

단일 에이전트의 한계를 극복하기 위해, 여러 전문 에이전트가 협력하는 ‘다중 에이전트 시스템(MAS)’이 등장했습니다. 복잡한 문제를 ‘분할 정복’ 철학으로 해결하는 접근법입니다.

동적 대화 기반 협업: AutoGen

AutoGen은 ‘대화형 에이전트’라는 개념을 중심으로 구축된 유연한 프레임워크입니다. 개발자가 LLM, 인간 입력, 도구를 유연하게 조합해 맞춤형 에이전트(예: AssistantAgent, UserProxyAgent)를 만들 수 있습니다.

이 에이전트들은 미리 정의된 흐름뿐만 아니라, ‘동적 그룹 채팅’을 통해 복잡하고 적응적인 협업을 수행합니다. 마치 유연한 애자일(Agile) 프로젝트팀처럼, 정해진 각본 없이도 상황에 맞춰 소통하며 문제를 해결합니다.

계층적 지시 기반: HMAW

반면 HMAW(Hierarchical Multi-Agent Workflow)는 ‘프롬프트 엔지니어링 자동화’라는 특수 목적에 맞춰진 프레임워크입니다. 기업의 의사결정 구조를 모방한 고정된 ‘CEO → 관리자(Manager) → 작업자(Worker)’ 계층 구조를 가집니다.

• CEO: 사용자의 초기 쿼리를 받아 추상적인 가이드라인을 생성합니다.
• 관리자: CEO의 가이드라인을 구체적인 지침으로 변환합니다.
• 작업자: 관리자의 상세 지침을 바탕으로 최종 프롬프트를 완성하고 실행합니다.

⚖️ AutoGen vs. HMAW: 유연성과 예측 가능성의 트레이드오프

두 프레임워크는 명확한 장단점이 있습니다.

3. 프론티어: ‘최적의 일하는 방식’ 자체를 자동 설계하기

지금까지 소개한 ReAct, AutoGen, HMAW는 모두 인간이 그 아키텍처와 워크플로우를 ‘수동으로 설계’해야 한다는 공통점이 있습니다. 이는 시간과 전문성이 많이 드는 심각한 병목 현상입니다.

최신 연구들은 이 문제를 해결하기 위해, LLM을 사용하여 워크플로우 자체를 자동으로 발견하고 최적화하는 ‘메타-최적화(meta-optimization)’로 나아가고 있습니다. 이는 요리법을 따르는 에이전트가 아닌, 최고의 요리법을 발명하는 에이전트를 만드는 것입니다.

자연어 프로그램 기반: AutoFlow

LLM을 사용해 ‘자연어 프로그램’ 형태의 워크플로우를 자동으로 생성합니다. LLM이 이 프로그램의 ‘인터프리터’ 역할을 하여 각 단계를 실행하고, 실행 결과를 평가하며 더 나은 워크플로우를 생성하도록 반복 학습(인-컨텍스트 학습)합니다.

코드 기반 탐색: AFLOW

워크플로우를 LLM 호출 노드(Node)가 상호 연결된 ‘코드(Code)’로 표현합니다. 특히 ‘몬테카를로 트리 탐색(MCTS)’이라는 체계적인 탐색 전략을 사용하여, 방대한 설계 공간에서 성능을 극대화하는 최적의 구성을 자동으로 발견하는 것을 목표로 합니다.

다중 에이전트 설계 최적화: Mass

한발 더 나아가, 다중 에이전트 시스템(MAS) 전체의 ‘설계’를 자동화하는 데 초점을 맞춥니다. 개별 에이전트의 성능을 결정하는 ‘프롬프트’와 에이전트 간의 시너지를 결정하는 ‘토폴로지(상호작용 구조)’를 모두 최적화 대상으로 삼습니다.

Mass의 3단계 최적화 프로세스:

• (로컬) 개별 에이전트의 프롬프트를 먼저 최적화합니다.
• (토폴로지) 최적화된 에이전트 간의 가장 효과적인 상호작용 구조를 탐색합니다.
• (글로벌) 발견된 토폴로지 하에서, 전체 시스템의 프롬프트를 다시 종합적으로 미세 조정하여 시너지를 극대화합니다.

4. 내게 맞는 프레임워크는? (사용 사례별 선택 가이드)

어떤 프레임워크를 선택해야 할지 혼란스러우신가요? 해결하려는 문제의 특성에 따라 최적의 선택이 달라집니다.

(시나리오 1) 외부 API와 상호작용하며, 모든 결정 과정을 추적하고 싶을 때

추천: ReAct

이유: 명확한 ‘생각-행동-관찰’ 루프를 통해 디버깅이 용이하고 신뢰성이 중요한 사실 확인, 간단한 정보 검색 작업에 이상적입니다.

(시나리오 2) 복잡한 문제를 여러 전문가 역할(예: SW 개발)로 나누어 해결해야 할 때

추천: AutoGen

이유: ‘코드 작성자’, ‘검토자’, ‘실행자’ 에이전트가 동적으로 대화하며 협업하는 워크플로우에 적합합니다. 유연한 에이전트 구성과 동적 대화가 강점입니다.

(시나리오 3) 특정 작업에 대해 인간이 설계한 것보다 더 나은 ‘업무 절차’를 찾고 싶을 때

추천: AutoFlow 또는 AFLOW

이유: 입출력과 평가 기준이 명확한 문제에 대해 최적의 절차를 자동으로 발견할 때 유용합니다. 특히 AFLOW는 MCTS를 통해 더 체계적인 탐색으로 성능을 극대화할 수 있습니다.

(시나리오 4) 최적의 다중 에이전트 ‘팀 구성’과 ‘소통 방식’을 자동 설계하고 싶을 때

추천: Mass

이유: 개별 에이전트의 능력뿐만 아니라, 이들 간의 시너지를 극대화하는 것이 중요한 복합 시스템(예: 특정 비즈니스 프로세스 자동화 팀) 설계에 적합합니다.

💡 하이브리드 접근법을 고려하세요

이 선택은 상호 배타적이지 않습니다. 예를 들어, AutoGen으로 소프트웨어 개발의 상위 레벨 협업 구조(기획, 코딩, 테스트)를 짠 뒤, Mass를 적용해 각 에이전트의 프롬프트를 최적화하고 에이전트 간의 보고 라인(토폴로지)을 미세 조정할 수 있습니다.

5. 결론: 스스로 조직화하는 에이전트의 시대를 준비하라

LLM 에이전트 기술은 ReAct의 기본 단계를 넘어, AutoGen의 유연한 협업, 그리고 AFLOW와 Mass가 이끄는 ‘설계 자동화’의 영역으로 빠르게 발전하고 있습니다.

이는 문제 해결의 추상화 수준이 꾸준히 높아지고 있음을 의미하며, AI 시스템의 자율성과 적응성이 개발자의 부담을 획기적으로 줄여줄 ‘메타-최적화’ 접근 방식이 미래의 핵심이 될 것임을 시사합니다.

미래 AI 아키텍트의 핵심 과제는 더 이상 개별 프롬프트 엔지니어링에 국한되지 않을 것입니다. 이제는 ‘스스로 조직화하는 에이전트들을 위한 최적화 및 거버넌스 시스템’을 설계하는 것이 우리의 새로운 과제가 될 것입니다.

프로비

ProB AI 연구소