LG유플러스, AI 운영비 최대 90% 절감 기술로 기업시장 공략
LG유플러스가 AI 운영 비용을 최대 90% 절감할 수 있는 토큰 최적화 기술을 개발해 내년부터 기업용 AI 시장에 진출한다. 질문의 난도에 따라 다른 모델을 배정하는 모델 라우팅과 경량화 기술을 통해 기업들의 AI 도입 부담을 크게 낮출 수 있을 것으로 기대된다.

LG유플러스가 인공지능(AI) 에이전트 운영 비용을 대폭 줄이는 기술을 앞세워 내년 기업용 AI 시장에 본격 진출한다. 회사는 지난 12일 'AI 토큰 최적화 기자 스터디'를 열고 토큰 비용을 최대 90%까지 절감할 수 있는 핵심 기술들을 공개했다. AI가 복잡한 업무를 처리할수록 비용이 기하급수적으로 증가하는 문제를 해결하기 위해 모델 선택부터 반도체 운용까지 전반적인 최적화 기술을 개발한 것으로, 기업들의 AI 도입 부담을 크게 낮출 수 있을 것으로 기대된다.
토큰은 AI가 사용자의 질문을 이해하고 답변을 생성할 때 처리하는 기본 데이터 단위다. 특히 AI 에이전트가 검색과 분석, 검증을 반복하면서 소비하는 토큰의 양이 기하급수적으로 늘어나자 기업들 사이에서 토큰 비용 절감이 주요 화두로 떠오르고 있다. LG유플러스가 이번에 선보인 핵심 기술은 질문의 난도에 따라 서로 다른 AI 모델을 자동으로 배정하는 '모델 라우팅'이다. 간단한 질문은 저렴한 소형 모델로 처리하고 복잡한 업무에만 고성능 모델을 활용함으로써 불필요한 비용 낭비를 원천 차단한다. 회사의 내부 테스트에서는 일반 질문 처리 비용을 25% 이상, 코딩 에이전트 비용을 30% 이상 절감했으며, 자체 AI 모델을 활용한 별도 검증에서는 코딩 업무의 운영 비용을 통상적으로 사용되는 모델 대비 약 90%까지 줄일 수 있음을 확인했다.
LG유플러스는 또한 모델을 가볍게 하면서도 답변 속도를 높이는 기술도 병행 개발하고 있다. 스마트폰용 AI 모델의 크기를 기존 2.4~3GB에서 약 800MB로 대폭 축소하면서도 비교 대상인 클라우드 모델 대비 95% 이상의 성능을 유지하는 데 성공했다. 이는 작은 모델이 먼저 답변 초안을 만들고 큰 모델이 최종 검증하는 방식으로 토큰 생성 속도를 2배 이상 높일 수 있다는 의미다. 이상엽 LG유플러스 최고기술책임자(CTO·전무)는 "토큰 최적화는 기술 하나로 해결되지 않으며, 다양한 장비와 기술을 조합하는 노하우가 필수적"이라며 "통신사는 주파수와 통화량, 트래픽을 지속적으로 최적화해온 경험이 있다"고 강조했다.
LG유플러스는 엔비디아와 AMD의 그래픽처리장치(GPU), 그리고 퓨리오사AI의 신경망처리장치(NPU)를 작업의 특성에 맞춰 효율적으로 활용함으로써 운영비를 추가로 절감할 계획이다. 이러한 최적화 기술들은 회사가 AI 통화 서비스 '악시오' 등을 통해 축적한 실제 서비스 운영 경험에서 비롯된 것으로, 기업들이 직면한 현실적인 문제를 해결하는 데 집중했다. 권민석 LG유플러스 담당자는 "새로운 AI 모델이 나올 때마다 담당자가 최적의 설정을 일일이 찾기는 사실상 불가능하다"며 "AI가 연산 과정의 병목을 자동으로 찾아 설정을 최적화하고, 전문가가 검증하는 기술을 개발할 것"이라고 밝혔다.
LG유플러스는 이러한 토큰 최적화 기술을 바탕으로 내년부터 기업 고객을 대상으로 본격적인 사업을 추진할 예정이다. 통신사로서 보유한 네트워크 최적화 경험과 대규모 데이터 처리 인프라를 AI 비용 절감 솔루션에 접목시키면서 기업용 AI 시장에서 새로운 경쟁력을 확보하려는 전략이다. 이는 생성형 AI 도입을 원하지만 높은 운영비 때문에 망설이고 있는 중소기업과 대기업 모두에게 매력적인 솔루션이 될 것으로 평가된다.
