[비즈니스포스트] 금융위원회는 14일 인공지능(AI) 해킹 사고로 주요 시중은행을 비롯해 금융사 16곳에서 약 10만건의 개인정보가 유출된 것으로 파악됐다고 밝혔다. 금융당국은 금융권 전수조사를 추진하기로 했는데, 이 과정에서 해킹 피해 사례는 더 늘어날 수 있을 것으로 보인다.

이번 국내 금융권 해킹에는 중국 보안 엔지니어가 만든 오픈소스 에이전트 '아르텍스'(ARTEX)가 쓰인 정황이 발견됐다. 아르텍스는 클로드, 챗GPT, 딥시크 등을 불러와 취약점 탐색을 자동화하는 도구다. 미국 사이버보안 기업 크라우드스트라이크의 애덤 마이어스는 이를 AI 에이전트를 이용한 광범위한 사이버 공격의 초기 사례로 규정했다.

AI 기술발전이 빨라질수록 AI를 활용한 이같은 사이버 공격은 더욱 늘어날 수밖에 없다. 특히 더 두려운 것은 AI가 인간의 통제를 벗어나 스스로 사이버 공격을 감행할 수 있다는 것이다. 

AI가 스스로 해킹을 감행한 사례가 최근 3개 월 새 잇따르고 있다. 지난 7월 오픈AI는 자사 모델 GPT-5.6 솔과 내부 연구 모델이 성능 평가 도중 격리된 테스트 환경을 스스로 빠져나와 AI 개발자 플랫폼 ‘허깅페이스‘의 운영 시스템을 침투했다고 밝혔다.

같은 달 앤트로픽의 ‘클로드’도 이레귤러가 운영하는 사이버보안 평가환경에서 외부 인터넷에 접속해 기관 3곳의 시스템을 해킹했다. 8월엔 메타의 AI 모델 ‘뮤즈 스파크’가 이레귤러가 운영하는 시험환경의 설정 오류로 외부기업의 보안 취약점을 활용한 사이버 공격을 감행했다고 밝혔다.

딥러닝 연구로 2018년 컴퓨팅 분야의 노벨상이라 불리는 ‘튜링상’을 공동 수상한 캐나다 과학자 요슈아 벤지오는 AI의 능력이 고도화될수록 인간이 시스템의 행동을 통제하고 의도한 목표에 맞게 유지하는 문제가 중요해진다고 경고해 왔다. 

딥러닝의 선구자이자 AI 위험에 대한 경고로 널리 알려진 제프리 힌턴 토론토대학 명예교수 역시 고도화된 AI가 인간의 통제력을 넘어설 가능성을 우려해왔다. 

이런 우려 속에 지난 9월12일 앤트로픽의 다리오 아모데이 최고경영자(CEO)가 3800단어 분량의 에세이 '프런티어의 개발 속도를 늦춰야 한다'를 공개했다. 최첨단 AI 모델의 성능 향상 속도를 의도적으로 늦추자는 이른바 ‘AI 속도 조절론’이다. 

샘 올트먼 오픈AI CEO는 몇 시간 만에 "동의한다"며 외부 평가자에게 직원 수준의 접근권을 주겠다고 했다. 데미스 허사비스 구글 딥마인드 CEO도 세부는 다듬어야 하지만 방향은 맞다는 입장을 밝혔다. 

그런데 한 달이 지난 지금, AI 개발 속도를 늦추겠다는 구속력 있는 약속을 내놓은 기업은 단 한 곳도 없다. 앞에선 모두가 늦추자고 하는데, 뒤에선 아무도 늦추지 않는다. 이 상황을 가장 잘 설명하는 것이 게임이론의 '죄수의 딜레마'다.

따로 심문받는 두 범죄 용의자가 서로 입을 다물면 둘 다 가벼운 형을 받는다. 하지만 상대가 입을 다무는 사이 나만 자백하면 풀려나고, 상대가 자백할 때 나만 침묵하면 가장 무거운 형을 받는다. 결과는 둘 다 자백해 서로 더 나쁜 상태에 빠진다는 것이 죄수의 딜레마의 요지다. 

죄수의 딜레마를 AI 속도 조절론에 대입하면 그림이 선명해진다. 모든 AI 개발 기업이 개발 속도를 조절하면 안전 연구에 시간을 벌지만, 나만 속도를 늦추면 경쟁자가 시장과 투자금을 가져간다. 그러니 모두가 알면서도 더 뛰어난 AI 개발에 경쟁적으로 매달린다.

유럽에서는 미국 선두 AI 기업들의 안전성을 위한 속도 조절 요구가 세계 다른 후발 AI 기업들의 추격을 막는 '사다리 걷어차기'가 될 수 있다는 비판을 내놓는다.  
  기업 간 AI 개발 경쟁 위에는 미중 기술 패권 경쟁이 얹혀 있다. 중국 외교부는 아모데이의 경고를 '공포 조장'이라 불렀다. 미국 트럼프 대통령은 중국을 이유로 개발 속도를 늦춰선 안된다며, AI 속도 조절론을 음모론으로 몰아세웠다.

오픈AI는 경쟁사들이 개발·출시 속도를 함께 제한하면 담합으로 해석될 수 있는지 미국 의회에 기준을 요청했다. 이를 두고 죄수들이 입을 맞추는 것 자체가 담합이 될 수 있다는 해석이 나왔다. 

서로가 약속을 지켰는지 확인할 수 없다면 AI 안전성 협력은 가장 먼저 배신의 표적이 된다.

더 깊은 딜레마에 빠지게 된다. AI 프런티어 기업 몇 곳이 합의해 속도를 늦춘다 해도, 이미 풀린 오픈소스 도구와 이를 쓰는 공격자는 이들의 합의에 아랑곳하지 않는다. 

게임이론이 오래전에 내놓은 해법은 '게임의 규칙을 바꾸는 것'이다. 반복 게임으로 만들어 신뢰를 쌓고, 배신을 탐지할 수 있게 하고, 배신에 비용을 매기는 것이다. 

최근 국가AI전략위원회 공개 세미나에서 이원태 보안특별위원장이 말한 '속도 조절이 아닌 속도 책임'도 같은 맥락이다. 얼마나 빨리 가느냐보다 사고가 났을 때 누가 어떻게 책임지느냐는 구조를 함께 만들어야 한다는 것이다.

결국 AI 속도 조절론의 진정성은 선언이 아니라 검증 가능한 행동 여부로 가려질 것이다. 

한국은 이 게임의 주 플레이어가 아니지만 피해 규모는 가장 큰 쪽에 속할 수 있다. 감속이냐 가속이냐의 이분법에 휩쓸릴 이유는 없다. 필요한 것은 규칙을 만드는 논의에 참여할 최소한의 검증 역량, 곧 독립적 AI 평가 능력이다. 

아울러 국가 간 합의 바깥에 존재하는 위협에 대비하는 방어 투자가 필요하다. 금융보안원이 AI 해킹 수법을 공유한 세미나를 연 지 2주 만에 16개 금융사들이 AI 해킹에 뚫렸다. 외부 노출 시스템을 상시 점검하는 체계와 AI 에이전트를 겨냥한 모의 공격 훈련 등 AI 보안 투자가 동반돼야 한다.

죄수의 딜레마가 주는 교훈은 명확하다. 선의에 호소해서는 균형이 바뀌지 않는다. 속도를 늦추는 쪽이 손해를 보지 않고, 배신하는 쪽이 비용을 치르는 구조를 누가, 어떤 규칙으로 만들 것인가가 핵심이다. AI 속도 조절론이 던진 진짜 질문은 브레이크를 밟을 용기가 아니라, 브레이크를 함께 밟게 만드는 실천적 설계 구조에 있다.

AI 안전성을 위한 국제적 공조가 반드시 필요하다. 미국과 중국을 비롯한 주요 국가가 최소한의 안전 기준과 사고 대응 원칙을 공유하지 않는다면, 한 국가가 개발을 늦추는 동안 다른 국가가 기술적 우위를 확보하려는 유인이 지속될 수밖에 없다.

모든 국가가 동시에 완벽한 합의에 도달하기 어렵더라도 고위험 AI 평가와 사이버보안, 사고 정보공유 등 협력 가능한 영역부터 규칙을 마련할 필요가 있다. 김승용 산업&IT 부국장