원문: How we built our multi-agent research system — Anthropic Engineering 이 글은 원문의 핵심 내용을 요약한 것입니다. 저작권은 원문 저자에게 있으며, 자세한 내용은 원문에서 확인하세요.
Anthropic은 사용자의 복잡한 질문에 답하기 위해 웹 검색, Google Workspace 통합 등을 활용하는 멀티 에이전트 연구 시스템을 개발했습니다. 이 시스템은 여러 LLM 에이전트가 도구를 자율적으로 사용하여 협력하는 방식으로 작동합니다.
- 멀티 에이전트 시스템의 이점: 예측 불가능하고 개방적인 연구 작업에 유연하게 대처할 수 있으며, 개별 에이전트의 한계를 넘어 집단 지성을 통해 성능을 확장할 수 있습니다. 특히 여러 독립적인 방향을 동시에 탐색하는 작업에서 단일 에이전트보다 뛰어난 성능을 보입니다.
- 아키텍처 개요: 리드 에이전트가 작업을 계획하고, 전문화된 서브 에이전트를 병렬로 생성하여 정보를 검색하는 오케스트레이터-워커 패턴을 사용합니다. 각 서브 에이전트는 검색 도구를 반복적으로 사용하여 정보를 수집하고, 그 결과를 리드 에이전트에게 전달하여 최종 답변을 종합합니다.
- 프롬프트 엔지니어링 원칙: 에이전트의 사고방식을 이해하고, 오케스트레이터에게 효과적인 위임 방법을 학습시키며, 쿼리 복잡성에 맞춰 노력을 확장하는 것이 중요합니다. 도구 설계 및 선택 또한 매우 중요하며, 에이전트가 스스로 개선하도록 유도하는 것이 효과적입니다.
- 효과적인 평가: 멀티 에이전트 시스템은 다양한 경로로 목표를 달성하므로, 사전에 정의된 단계를 따르는지보다는 최종 결과의 적절성을 평가하는 것이 중요합니다. LLM을 활용한 평가와 인간 평가를 병행하여 자동화된 평가에서 놓칠 수 있는 부분을 보완합니다.
- 프로덕션 안정성: 에이전트는 상태를 유지하며 오류가 누적될 수 있으므로, 오류 발생 시 재시작 대신 복구할 수 있는 시스템과 에이전트의 지능을 활용한 오류 처리가 필요합니다. 디버깅을 위해 상세한 추적 기능을 활용하고, 배포 시에는 무지개 배포(rainbow deployment)와 같은 기법으로 기존 에이전트를 방해하지 않도록 주의해야 합니다.
자세한 내용은 원문에서 확인하세요.
