[비즈니스포스트] 오픈AI가 자사 차기 AI 모델이 시험 환경의 통제를 벗어나 스스로 허깅페이스 서버를 해킹한 보안 사고를 공개했다.

AI가 스스로 외부 시스템을 공격한 사례가 확인되면서 자율형 AI 에이전트의 통제 문제가 새로운 보안 과제로 떠오를 것으로 전망된다.

허깅페이스는 AI 오픈소스 커뮤니티 플랫폼이다.
 
오픈AI는 21일(현지시각) 허깅페이스와 공동 조사한 결과, 내부 사이버 보안 평가인 '익스플로잇짐'을 수행하던 AI 모델이 제한적으로 허용된 인터넷 연결 경로를 이용해 알려지지 않은 제로데이 취약점을 악용하고, 권한을 획득한 뒤 외부 인터넷에 접속했다고 밝혔다.

AI 모델은 이어 허깅페이스 서버에서 평가 문제의 해답을 확보하기 위해 탈취한 인증정보와 취약점을 이용해 시스템에 침투했다.

오픈AI는 AI 모델이 허깅페이스를 공격하라는 직접적 지시를 받지 않았으며, 평가 목표를 달성하는 과정에서 외부 정보를 확보하는 방법을 스스로 선택했다고 설명했다. 

허깅페이스도 이번 사례를 자율형 AI 에이전트가 수행한 공격으로 평가했다.

이번 사고는 AI가 단일 취약점만 이용한 것이 아니라 권한 상승과 내부 이동, 외부 표적 선정, 인증정보 활용 등을 연쇄적으로 수행했다는 점에서 주목된다.

오픈AI는 허깅페이스와 함께 확인된 취약점을 모두 조치하고, AI 보안 평가 체계도 전반적으로 보완하고 있다고 밝혔다. 

오픈AI 측은 “우리는 모델 개발 과정에서 적용되는 격리, 모니터링, 접근 통제, 평가 절차를 강화하고 있다”고 밝혔다. 조승리 기자