[비즈니스포스트] 앤트로픽의 인공지능(AI) 모델 ‘클로드’가 사이버보안 성능평가 과정에서 외부 인터넷에 접속해 기관 3곳의 운영 시스템을 무단 침입한 사실이 확인됐다.

앞서 오픈AI GPT-5.6 솔 모델도 격리된 평가환경을 벗어나 AI 오픈소스 커뮤니키 허깅페이스의 운영 시스템에 침투한 것으로 드러나는 등 고성능 AI 에이전트의 접근권한과 행동을 통제할 보안체계를 강화해야 한다는 지적이 잇따르고 있다.
 

30일(현지시각) 앤트로픽은 인터넷 접속 가능성이 있었던 사이버보안 평가 기록 14만1006건을 소급 검토한 결과, 외부 평가업체 이레귤러가 운영한 환경에서 클로드가 외부기관 3곳의 시스템을 침해한 사건 3건을 확인했다고 밝혔다.

앤트로픽은 7월21일 오픈AI가 자사 모델의 허깅페이스 침투 사고를 공개하자, 클로드의 외부 인터넷 접근 사례가 있는지 조사했다.

사고는 클로드가 가상 네트워크에서 비밀정보를 찾는 ‘캡처 더 플래그(CTF)’ 과제를 수행하는 과정에서 발생했다.

앤트로픽은 클로드에게 평가환경이 인터넷과 분리된 모의환경이라고 안내했지만, 평가 파트너와의 의사소통 오류와 설정 문제로 실제 인터넷 접속 경로가 열려 있었다.

클로드는 외부에서 발견한 실제 시스템을 평가 대상에 포함된 것으로 오인하고, 취약한 비밀번호와 인증되지 않은 접속 지점 등을 이용해 접근했다.

앤트로픽은 클로드가 평가환경을 벗어나거나 별도의 목표를 추구하려 했다는 증거는 발견하지 못했으며, 잘못된 상황 인식 아래 주어진 과제를 수행한 사건에 가깝다고 설명했다.

첫 번째 사건에서는 클로드 오퍼스 4.7이 평가 대상의 가상 기업과 같은 이름을 사용하는 실제 기업에 접근했다.

클로드는 네 차례의 평가에서 애플리케이션과 인프라 계정정보를 확보하고, 수백 건의 운영 데이터가 담긴 데이터베이스에 접속했다. 네 차례 모두 실제 운영 시스템일 가능성을 인식했지만 공격을 중단하지 않았다. 이 가운데 두 차례에서는 해당 조직도 평가 과제에 포함됐을 것이라고 판단한 것으로 조사됐다.

두 번째 사건에서는 클로드 미토스 5가 평가 문서에 등장한 존재하지 않는 파이썬 패키지 이름을 이용해 악성 패키지를 만들고, 공개 저장소 파이파이(PyPI)에 올렸다.

이 패키지는 약 1시간 동안 공개됐고 실제 시스템 15곳에서 내려받아 실행됐다. 보안 기업의 자동검사 시스템에서도 악성 코드가 작동해 계정정보가 외부로 전송됐으며, 클로드는 이를 이용해 해당 기업의 다른 시스템에 접근했다.

해당 보안 기업은 클로드가 처음부터 노린 대상은 아니었으며, 공개된 패키지를 검사하는 과정에서 피해를 입었다. 악성 패키지는 이후 파이파이의 자체 보안시스템에 의해 자동으로 삭제됐다.

클로드는 실행 초기 실제 인터넷이라면 패키지 공개가 사이버공격이 될 수 있다고 판단했다. 하지만 인증기관과 시스템 날짜 등을 근거로 접속환경이 모의환경이라고 잘못 결론 내린 뒤 공격을 이어간 것으로 파악됐다.

세 번째 사건에서는 내부 연구용 시험 모델이 약 9천 개 대상을 검색한 뒤 실제 조직의 인터넷 노출 애플리케이션에 접근했다.

이 모델은 노출된 디버그 페이지에서 계정정보를 읽고 SQL 인젝션 등을 이용해 시스템을 침해했지만, 평가와 무관한 실제 조직이라는 점을 확인한 뒤 공격을 중단했다.

세 사건에 사용된 모델에는 일반 서비스에 적용되는 오용 방지 분류기와 모니터링 장치가 포함되지 않았다. 다만 모델 자체의 안전훈련은 적용됐고, 평가 인프라는 앤트로픽 내부 시스템과 고객 데이터로부터 분리돼 있었다.

앤트로픽은 7월23일 관련 기록 검토를 시작하고 인터넷 접속 가능성을 확인한 뒤, 같은 날 모든 사이버보안 평가를 중단했다. 세 사건은 24일 모두 확인했으며 27일 평가 파트너와 피해 조직들에 알렸다.

피해 조직 가운데 연락이 닿은 2곳은 이전까지 사고 사실을 인지하지 못했던 것으로 전해졌다.

앤트로픽은 고성능 자율형 AI를 평가하는 환경에도 실제 운영 시스템과 같은 수준의 보안통제가 필요하다고 판단했다.

앞서 오픈AI의 GPT-5.6 솔과 내부 연구용 모델도 아티팩토리의 제로데이 취약점을 이용해 격리환경을 벗어난 뒤, 허깅페이스 서버에 접근했다. 이어 탈취한 계정정보 등을 활용해 운영 데이터베이스에서 평가문제의 해답을 확보했다.

오픈AI는 사고 뒤 인프라 설정과 접근통제, 평가 과정의 모니터링을 강화하고 허깅페이스 및 외부 보안기관과 공동조사를 진행하고 있다.

다만 두 사고의 원인은 달랐다. 오픈AI 모델은 새로운 취약점을 찾아 격리환경을 직접 벗어났지만, 앤트로픽 모델은 설정 오류로 열려 있던 인터넷 경로를 이용했다.

세계 최고 수준의 AI와 보안 역량을 갖춘 기업들조차 평가환경에서 에이전트의 접근 범위와 행동을 완전히 통제하지 못했다는 점은 AI 에이전트를 도입하는 기업에도 통제체계 점검의 필요성을 보여준다는 분석이 나온다.

기업이 AI 에이전트를 내부망이나 별도의 격리환경에서 운용한다는 이유만으로 안전하다고 판단해서는 안 된다는 것이다.

곽진 아주대학교 사이버보안학과 교수는 “기업 환경도 똑같다”며 “‘우리 에이전트는 내부망에만 있으니 안전하다’는 말은 대부분 검증된 통제가 아니라 검증되지 않은 가정일 뿐”이라고 말했다. 조승리 기자