원문: Confidential Inference via Trusted Virtual Machines — Anthropic Engineering 이 글은 원문의 핵심 내용을 요약한 것입니다. 저작권은 원문 저자에게 있으며, 자세한 내용은 원문에서 확인하세요.
Anthropic은 Claude 사용자들의 민감한 정보 보호를 위해 암호학적으로 보장되는 기술인 기밀 추론(Confidential Inference)을 연구하고 있습니다. 이 기술은 암호화된 데이터를 처리하고, 데이터가 신뢰할 수 있음을 증명할 수 있는 서버 내에서만 읽을 수 있도록 보장합니다.
- 모델 가중치 보안: 최첨단 모델인 Claude를 위협으로부터 보호하기 위한 방안의 하나로 기밀 추론을 활용합니다.
- 사용자 보안: 민감한 사용자 데이터가 비공개로 유지됨을 증명하기 위해 기밀 추론을 적용합니다.
- 암호화된 데이터 처리: 민감한 데이터는 처리되는 시점을 제외하고는 항상 암호화 상태를 유지하며, 처리 시에는 고도로 제한적이고 검증 가능한 환경 내에서만 이루어지도록 시스템을 구축합니다.
기밀 추론의 핵심은 API 서버와 추론 서버에서 민감한 데이터를 처리하는 동안에도 보안을 유지하는 것입니다. 추론 서버는 신뢰할 수 있는 환경에서 실행되는 작은 "모델 로더 및 호출기" 위에서 구현됩니다. 이 로더는 암호화된 데이터를 받아 복호화 후 가속기로 전달하고, 가속기의 결과를 받아 다시 암호화하여 반환합니다.
신뢰할 수 있는 환경은 다음과 같은 기능을 갖춥니다:
- 하드웨어로 격리된 암호화된 메모리
- 비활성화된 디버깅 기능
- 올바른 코드가 실행되고 있음을 증명하는 암호화된 증명
이는 TPM(Trusted Platform Module)과 같은 신뢰 기반 모듈을 사용하여 부팅 과정의 각 단계를 측정하고, 최종 결과에 대한 해시를 보고함으로써 달성됩니다. 이를 통해 로더 서버가 격리되었으며, 서명되고 검토된 코드를 실행하고, 관련 디버깅 기능을 비활성화했음을 증명할 수 있습니다.
향후에는 모델 가중치를 보유한 서버에 대한 추가적인 대역폭 제한이나 안전 분류기의 서명을 요구하는 등 더욱 강력한 보안 조치를 고려할 수 있습니다.
이 연구는 모델 가중치를 보호하고 사용자 데이터를 보호하기 위한 Anthropic의 노력을 발전시킬 것입니다. 사용자의 요청은 Anthropic 서버에 도착하기 전에 암호화되며, API 서버에서 복호화, 처리, 재암호화된 후 추론 서버로 전달됩니다. 추론 서버는 암호화된 형태로 요청을 처리하며, 복호화는 신뢰할 수 있는 로더로 전달될 때만 이루어집니다. 완료된 응답 또한 로더에서 암호화된 후 API 서버를 통해 호출자에게 전달됩니다. 모델 가중치는 로더에서만 복호화되며 외부로 노출되지 않습니다.
하드웨어 설계자는 칩에 기밀 컴퓨팅 기능을 통합하는 것을 고려해야 합니다.
자세한 내용은 원문에서 확인하세요.
