AI 에이전트 평가(Eval)의 모든 것

원문: Demystifying evals for AI agents
— Anthropic Engineering 이 글은 원문의 핵심 내용을 요약한 것입니다. 저작권은 원문 저자에게 있으며, 자세한 내용은 원문에서 확인하세요.

AI 에이전트의 신뢰성을 높이기 위한 평가(Eval)는 개발 초기 단계부터 프로덕션까지 지속적으로 적용되어야 합니다. 평가 없이는 프로덕션에서 문제를 발견하고 이를 수정하는 과정에서 새로운 문제가 발생할 수 있습니다. 에이전트의 복잡한 다중 턴 상호작용과 유연성 때문에 평가는 더욱 중요해집니다.

평가의 기본 구조: 평가는 AI 입력에 대한 출력을 평가하는 테스트입니다. 단일 턴 평가와 달리, 에이전트 평가는 여러 턴 동안 도구 호출, 상태 변경, 중간 결과 기반 적응을 포함하는 복잡한 과정을 거칩니다.
에이전트 평가의 핵심 구성 요소: 태스크(Task), 트라이얼(Trial), 그래이더(Grader), 트랜스크립트(Transcript), 아웃컴(Outcome) 등 다양한 용어가 에이전트 평가를 정의하며, 이를 실행하는 평가 하네스(Eval Harness)와 에이전트 하네스(Agent Harness)가 있습니다.
평가의 필요성과 이점: 평가는 프로덕션 단계에서 발생하는 예상치 못한 문제를 예방하고, 변경 사항에 대한 회귀(regression)를 방지하며, 모델 업그레이드 속도를 높여줍니다. 또한, 연구팀과 제품팀 간의 명확한 커뮤니케이션 채널 역할을 합니다.
다양한 에이전트 유형별 평가 전략: 코딩, 대화, 리서치, 컴퓨터 사용 에이전트 등 각 유형에 맞는 평가 방법론과 그래이더(코드 기반, 모델 기반, 인간 기반) 활용법을 제시합니다. 특히, 𝜏2-bench와 같은 벤치마크는 복잡한 시나리오를 시뮬레이션합니다.
비결정성(Non-determinism)을 고려한 평가: 에이전트의 실행 결과 변동성을 고려하여 pass@k (k번 시도 중 최소 한 번 성공 확률) 및 pass^k (k번 시도 모두 성공 확률)와 같은 지표를 활용합니다.
초기부터 신뢰할 수 있는 평가 구축 로드맵: 현실적인 태스크 수집, 모호하지 않은 명확한 태스크 작성, 편향되지 않은 문제 세트 구성, 견고한 평가 하네스 및 그래이더 설계, 트랜스크립트 검토, 평가 포화 모니터링 등이 포함됩니다.