▲ 글로벌 AI 선두기업들이 개발 속도 조절과 안전성 검증 강화에 나서면서 한국 독자 AI 파운데이션 모델 프로젝트도 3차 평가에서 성능과 안전성을 함께 고려해야 하는 새로운 과제를 맞고 있다. <챗GPT 생성 이미지>
글로벌 AI 기업들이 성능 향상뿐 아니라 안전성 검증에도 시간과 자원을 투입하면, 후발주자인 한국은 AI 기술 격차를 좁힐 기회를 얻을 수 있을 것으로 보인다. 하지만 프런티어 AI의 경쟁 기준이 성능에서 안전성까지 확대되면, 국내 기업들이 넘어야 할 기술적 장벽은 오히려 높아질 수 있다는 관측이 나온다.
14일 정보통신업계 취재를 종합하면 글로벌 프런티어 AI 개발 경쟁에서 개발 속도와 안전성 사이의 균형을 둘러싼 논의가 빠르게 확산하고 있다.
다리오 아모데이 앤트로픽 최고경영자(CEO)는 12일(현지시각) 프런티어 AI 개발 속도를 조절해 안전장치가 기술 발전을 따라잡을 시간을 확보해야 한다며 독립 평가와 기업 사이 공통 안전기준, 국제 공조의 필요성을 제기했다.
샘 올트먼 오픈AI CEO와 일론 머스크 xAI CEO도 AI 위험 관리 필요성에 공감하면서 안전 문제는 글로벌 AI 경쟁의 주요 의제로 떠오르고 있다.
이에 따라 글로벌 AI 경쟁은 단순히 높은 성능의 모델을 먼저 개발하는 데에서 성능과 안전성을 얼마나 함께 확보하느냐를 겨루는 방향으로 이동할 것이란 전망이 나온다.
이 같은 변화는 독자 AI 모델로 글로벌 선두권을 추격하는 한국에는 기회와 부담을 동시에 안겨줄 것으로 예상된다.
오픈AI와 앤트로픽 등 선두기업이 레드팀 평가와 위험 검증, 모델 통제 기술에 더 많은 자원을 투입하면 한국 기업들로서는 추론과 코딩, 에이전트 등 모델 성능을 끌어올리며 선두권과의 격차를 좁힐 시간을 벌 수 있다.
반대로 프런티어 AI의 자격요건 자체가 높아지는 점은 부담이다. 앞으로는 벤치마크 성능뿐 아니라 사이버공격 악용 가능성, 에이전트 자율행동 통제, 개인정보와 기업기밀 유출 방지, 모델 오작동 대응 등 안전성까지 함께 입증해야 할 수 있기 때문이다.
이 때문에 정부가 독자 AI 파운데이션 모델 프로젝트 3차 평가에서 안전성을 어느 수준까지 반영할지 주목된다.
정부는 2차 단계평가를 거쳐 LG AI연구원과 SK텔레콤, 업스테이지 등 3개 팀을 다음 단계 경쟁 대상으로 압축했다.
현재 공개된 2차 평가체계에서 안전성은 별도의 독립 평가항목이나 배점으로 명시돼 있지 않다. 2차 평가는 벤치마크 평가 40점, 전문가 평가 35점, 사용자 평가 25점으로 구성됐다.
다만 정부는 빠르게 변하는 글로벌 AI 기술 수준을 반영하기 위해 3차 개발 목표와 평가방식을 참여기업들과 다시 논의하기로 했다.
김경만 과학기술정보통신부 인공지능정책실장은 지난 8월27일 독자 AI 파운데이션 모델 프로젝트 2차 단계평가 결과 브리핑에서 “2차 평가를 진행하는 사이 AI 에이전트와 고난도 추론, 코딩 등 글로벌 AI 개발 트렌드가 급격하게 전환됐다”며 “3차에서는 참여 기업과 함께 개발 방향과 평가 방식을 논의해 무빙 타깃을 설정할 것”이라고 말했다.
정부가 글로벌 AI 기술 변화를 반영해 3차 평가기준을 다시 논의하기로 한 시점에 안전성 검증이 프런티어 AI의 주요 화두로 떠오른 만큼 이를 평가체계에 어떻게 반영할지가 새로운 정책 판단 요소가 될 수 있을 것으로 보인다.
안전성을 평가체계에 반영한다면 단순히 유해한 답변을 차단하는 수준을 넘어 모델 자체와 운영환경에서 발생할 수 있는 위험까지 폭넓게 살펴야 한다는 의견도 나온다.
염흥열 순천향대학교 정보보호학과 교수는 비즈니스포스트에 “전문 역량뿐 아니라 모델과 운영환경의 보안, 안전성·투명성·책임성, 생태계와 지속가능성까지 종합적으로 평가해야 한다”며 “프롬프트 인젝션과 탈옥, 데이터 오염, 모델 탈취, 정보유출 등 모델 생명주기 전반의 위협과 위험한 요청에 대한 통제 능력도 함께 검증할 필요가 있다”고 말했다.
안전성 평가가 강화되면 독자 AI 파운데이션 모델 프로젝트를 높은 벤치마크 성능을 내는 모델 위주에서 산업과 공공 영역에서 활용할 수 있는 신뢰성 높은 AI로 발전시키는 계기가 될 수 있다는 관측도 나온다.
금융과 제조, 통신, 공공 등에서는 성능 못지않게 개인정보 보호와 시스템 안정성, 모델 통제 가능성이 중요하기 때문이다.
다만 안전성 검증을 별도 규제처럼 추가하면, 국내 기업에는 개발 속도 저하와 비용 상승 부담으로 이어질 수 있다는 지적도 나온다.
상대적으로 자본과 컴퓨팅 자원이 부족한 국내 기업에 글로벌 빅테크와 같은 수준의 검증 부담을 단기간에 요구하면 성능 추격에 투입할 자원이 분산될 수 있기 때문이다.
정부로서는 독자 AI 파운데이션 모델 프로젝트의 글로벌 기술경쟁력을 끌어올리면서 산업 현장에서 요구되는 안전성까지 확보할 수 있는 균형점을 찾아야 하는 셈이다.
박춘식 서울여대 정보보호학과 교수는 비즈니스포스트와 통화에서 “우리나라 현 단계에서는 AI 발전에 더 많은 비중을 둬야 한다”면서도 “AI를 발전시켜 나가면서 국제 협력이나 안전을 소홀히 해서는 안 되고, 기술 수준이 올라가면 뒤처졌던 안전 수준도 함께 끌어올려 국민에게 피해가 없도록 해야 한다”고 말했다. 조승리 기자
