Claude를 활용한 사이버 조사관 구축 과정

원문: How Outtake built a cyber investigator on Claude

— Claude Blog 이 글은 원문의 핵심 내용을 요약한 것입니다. 저작권은 원문 저자에게 있으며, 자세한 내용은 원문에서 확인하세요.

• 전문가 되기: 에이전트 구축 전에 엔지니어들이 직접 사이버 조사를 수행하고 고객 및 디자인 파트너로부터 도메인 전문성을 확보했습니다. 무엇이 '좋은' 조사인지 정의하고, 어떤 증거가 중요하며, 어떻게 구성하고, 실행 가능한 결론과 추측을 구분하는 기준을 세웠습니다.
• Claude Code 프로토타이핑: 초기에는 기존 에이전트 프레임워크를 사용했지만, Recon Agent가 단순히 조사하는 것을 넘어 코드를 작성하고, 도구를 만들며, 악성 도메인과 상호작용해야 함을 깨달았습니다. Claude Code를 통해 이러한 가정을 검증하고 실험했습니다. 핵심 설계 원칙은 오케스트레이션 수준에서 에이전트를 엄격하게 제약하되, 판단이 필요한 부분은 자유롭게 맡기는 것이었습니다.
• 프로덕션 등급 하네스로 전환: Claude Code의 패턴은 유지하면서 더 낮은 수준의 기본 기능에 대한 접근이 필요했습니다. Claude Agent SDK

  를 사용하여 Recon Agent를 프로덕션 환경으로 옮겼고, 메모리, 컨텍스트, 파일 시스템에 대한 통제력을 강화했습니다.
• 평가 주도 반복 루프 구축: 사이버 보안에서는 공격자들의 빠른 변화에 대응하는 것이 중요합니다. 초기부터 에이전트 평가(evals)를 통합하여 여러 시나리오를 한 번에 실행하는 강력한 평가 스위트를 구축했습니다. 이를 통해 모델 업그레이드와 같은 광범위한 변경도 안전하게 수행할 수 있었습니다. 또한, 에이전트가 더 나은 도구가 필요하다고 보고하면, 별도의 코딩 에이전트가 해당 제안을 읽고 새 도구를 작성하여 테스트하는 방식으로 개발 주기를 단축했습니다.

주요 학습 내용

• 도구: 파일 시스템과 bash만으로도 에이전트가 장애물에 대응하고 우회하는 데 도움을 줄 수 있습니다.
• 프롬프트: 프롬프트는 제안으로, 안정성을 위해서는 가능한 부분은 하드코딩하는 것이 좋습니다.
• 평가: 평가(Evals)는 신뢰성뿐만 아니라 속도를 높이는 데 중요하며, 개발 주기를 단축하는 데 기여합니다.
• 에이전트 보호: 프롬프트 인젝션 위협에 대비하여 에이전트를 샌드박스에 두거나 '방폭 상자(blastbox)'를 제공하는 것이 필수적입니다.