원문: Quantifying infrastructure noise in agentic coding evals — Anthropic Engineering 이 글은 원문의 핵심 내용을 요약한 것입니다. 저작권은 원문 저자에게 있으며, 자세한 내용은 원문에서 확인하세요.
에이전트 코딩 평가에서 인프라 자원 설정이 결과에 큰 영향을 미칩니다. 내부 실험 결과, Terminal-Bench 2.0에서 자원 설정에 따라 6%p의 점수 차이가 발생했으며, 이는 모델 성능 차이보다 클 수 있습니다.
- 에이전트 코딩 평가는 단순히 코드를 평가하는 것을 넘어, 테스트 환경, 의존성 설치, 반복적인 코드 수정 등 동적인 과정을 포함합니다. 따라서 런타임 환경은 수동적인 컨테이너가 아닌 문제 해결 과정의 필수적인 요소가 됩니다.
- Terminal-Bench 2.0과 같은 벤치마크에서는 권장 CPU 및 RAM을 명시하고 있지만, 이를 일관되게 강제하는 것은 다른 문제입니다. 또한, 강제 방식에 따라 평가 결과가 달라질 수 있습니다.
- 자원 할당을 엄격하게 제한(1x)하면 인프라 오류율이 높아져 성공률이 낮아지지만, 자원 할당에 여유(3x 이상)를 두면 인프라 안정성이 향상되고 에이전트가 더 복잡한 접근 방식을 시도할 수 있어 성공률이 높아집니다.
- 3x 이상의 자원 할당에서는 인프라 오류가 1.6%p 감소하는 동안 성공률이 약 4%p 상승하며, 이는 단순히 인프라 문제를 해결하는 것을 넘어 에이전트가 이전에 해결하지 못했던 문제를 해결할 수 있게 함을 시사합니다.
자세한 내용은 원문에서 확인하세요.
