원문: Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet — Anthropic Engineering 이 글은 원문의 핵심 내용을 요약한 것입니다. 저작권은 원문 저자에게 있으며, 자세한 내용은 원문에서 확인하세요.
- Anthropic은 Claude 3.5 Sonnet을 사용하여 SWE-bench Verified에서 49%의 해결률을 달성했으며, 이는 이전 최고 성능 기록을 경신했습니다.
- SWE-bench는 실제 오픈소스 Python 프로젝트의 GitHub 이슈를 해결하는 AI 모델의 능력을 평가하는 벤치마크입니다.
- Claude 3.5 Sonnet은 Bash Tool과 Edit Tool을 활용하여 파일 수정, 명령어 실행 등 다양한 작업을 수행하며 문제 해결 과정을 스스로 탐색합니다.
- Claude 3.5 Sonnet은 이전 모델보다 향상된 추론, 코딩, 수학적 능력을 보여주며, 더 나은 자기 수정 능력과 다양한 해결책 시도 능력을 갖추고 있습니다.
- SWE-bench Verified 실행 시 긴 실행 시간, 높은 토큰 비용, 환경 설정 문제, 숨겨진 테스트 등의 도전 과제가 존재하지만, Claude 3.5 Sonnet은 이러한 과제에도 불구하고 뛰어난 성능을 보여줍니다.
자세한 내용은 원문에서 확인하세요.
