원문: Zero risk isn't the job: a CISO's guide to agentic AI — Claude Blog 이 글은 원문의 핵심 내용을 요약한 것입니다. 저작권은 원문 저자에게 있으며, 자세한 내용은 원문에서 확인하세요.
에이전트 AI 시대에 CISO의 역할은 제로 리스크를 달성하는 것이 아니라, 에이전트 AI의 위험을 측정 가능하고 제한된 상태로 만드는 것입니다. 이를 통해 기업은 관리 가능한 위험을 의도적으로 수용하여 비즈니스 발전을 이끌 수 있습니다.
에이전트 AI의 내부 보안 위험은 주로 개인 에이전트 연결로 인한 데이터 유출이나 프롬프트 인젝션입니다. 이러한 위험을 평가하기 위해 다음 네 가지 질문을 활용합니다.
- 에이전트가 어떤 신뢰할 수 없는 콘텐츠를 입력받는가?
- 에이전트가 누구를 대신하여 어떤 작업을 수행할 수 있는가?
- 에이전트가 잘못 작동했을 때의 영향 범위는 어느 정도인가?
- 에이전트의 작동에 대한 가시성은 어느 정도 확보되는가?
이 네 가지 질문의 답을 바탕으로 '최소 권한 원칙'에 따라 에이전트의 능력을 최소화해야 합니다.
에이전트의 신원(Identity) 모델은 크게 두 가지로 나뉩니다. 첫째는 단일 목적의 '시스템 서비스 계정'이며, 둘째는 '인간 인증 정보'입니다. 두 극단 사이에 위치하여 인간의 위임된 신원을 가진 에이전트는 책임 소재가 모호해져 사고 발생 시 원인 규명이 어려워질 수 있습니다.
실제 인시던트 대응 에이전트의 사례를 통해, 제한된 권한과 높은 가시성을 갖춘 에이전트는 안전하게 운영될 수 있음을 보여줍니다. 또한, 모델의 지능 향상으로 인해 에이전트 간의 새로운 상호작용이 가능해졌으며, 이는 인간의 감독 하에 운영될 때 더욱 발전된 보안 프로세스를 가능하게 합니다. Claude Cowork와 같은 개인용 에이전트의 경우, IdP 연동, 커넥터 허용 목록, 역할별 권한 설정, 샌드박스 실행, 아웃바운드 트래픽 통제, SIEM 연동, 조직 전체 비활성화 스위치 등의 통제를 통해 위험을 관리할 수 있습니다.
보안 거버넌스는 병목 현상이 될 필요가 없습니다. 위험 등록부 우선 관리, 에이전트 개발 주체 및 목적 이해, 인간의 책임성 확보를 통해 효과적인 거버넌스를 구축할 수 있습니다.
모델의 지능 향상 속도를 고려하여 보안 프로토콜을 설계해야 하며, 초기 위험이 낮은 에이전트부터 시작하여 점진적으로 고도 자율 사용 사례에 대비해야 합니다.
시작하기 위해 가장 압력이 높은 에이전트 사용 사례를 네 가지 질문으로 평가하고, 현재 사용하는 시스템 및 벤더에게 보안 요구 사항을 확인하며, 조직의 신뢰 경계(Trust Boundary)를 명확히 정의하는 것이 좋습니다.
자세한 내용은 원문에서 확인하세요.
