▲ 이상엽 LG유플러스 최고기술책임자(왼쪽)와 이재호 옵트에이아이 대표가 토큰 최적화 협력과 관련해 기념촬영을 하고 있다. <LG유플러스>
LG유플러스는 옵트에이아이와 AI 모델을 가볍게 만들고 연산 효율을 높이는 토큰 최적화 기술 공동 연구를 진행한다고 2일 밝혔다.
토큰은 AI가 이용자의 질문을 이해하고 답변을 생성할 때 처리하는 데이터 기본 단위다. 토큰 최적화 기술은 AI 모델의 크기와 연산 과정을 효율화해 같은 자원으로 더 많은 요청을 처리할 수 있도록 하는 기술이다.
LG유플러스는 실제 AI 서비스 운영 경험을 바탕으로 기술 검증과 적용을 맡고, 옵트에이아이는 AI 모델 경량화와 고속 구동 기술 연구개발을 담당한다.
두 회사는 이를 통해 그래픽처리장치(GPU)와 전력 사용량을 줄이면서도 AI 서비스 응답 속도와 품질을 높이는 것을 목표로 한다.
두 회사는 스마트폰 등 기기 자체에서 AI를 구동하는 온디바이스 AI 분야에서도 협력해왔다. 엑사원 기반 소형언어모델(sLM)에 경량화 기술을 적용해 기존 CPU 방식과 동일한 수준의 성능을 유지하면서 전력 소모를 78%, 모델 크기를 82% 줄였다고 설명했다.
협력을 계기로 서버 GPU 환경까지 공동 연구 범위를 확대한다. 두 회사는 대규모 AI 서비스 환경에서 같은 GPU 자원으로 더 많은 이용자의 요청을 처리할 수 있도록 AI 모델 연산 효율화 기술을 연구한다.
현재 진행 중인 GPU 기반 AI 모델 최적화 연구에서는 같은 GPU에서 처리할 수 있는 토큰량을 기존 대비 최대 4배 높이는 성과를 거뒀다고 밝혔다.
이상엽 LG유플러스 최고기술책임자(CTO)는 “AI 경쟁력은 단순히 성능을 높이는 것을 넘어 같은 자원으로 얼마나 많은 토큰을 효율적으로 처리할 수 있느냐에 달려 있다”며 “토큰 최적화 기술 연구를 확대하고 실제 서비스에 적용할 수 있는 성과를 만들어 나갈 것”이라고 말했다. 조승리 기자
