국내 대표 인공지능 음성 비서 '기가지니(GiGA Genie)'는 매일 800만여 명과 대화한다고 한다. KT의 AI 기반 스피커는 음성 명령을 기반으로 TV를 제어하고 실시간 교통 정보를 제공하고 기타 다양한 작업을 진행할 수 있다.

2,200만 명이 넘는 가입자를 보유한 국내 1등 이동통신 사업자인 KT는 약 400억 개의 매개변수가 있는 대규모 언어 모델(large language models. 이하, LLM)을 개발하여 스마트 스피커의 이러한 단어와 어휘에 대한 이해도를 높였으며, 아마존 알렉사(Amazon Alexa)와의 통합을 통해 기가지니는 사용자와 영어로 대화할 수도 있다.

특히, 한국어는 세계에서 가장 어려운 언어 중 하나로 네 가지 유형의 복합 동사가 포함되며, 단어는 종종 두 개 이상의 어근(語根)으로 구성된다.

이처럼 복잡한 한국어 대화 기술을 마스터 한 거대한 텍스트 데이터 세트를 기반으로 인간 언어를 인식, 이해, 예측 및 생성할 수 있는 엔비디아 머신러닝 알고리즘인 대규모 언어 모델과 자체 AI기술을 적용하고 있다.

모델은 수십억 개의 매개변수가 있는 LLM을 학습 및 배포하기 위한 엔비디아 DGX 슈퍼POD(SuperPOD) 데이터 센터 인프라 플랫폼과 네모 메가트론(NeMo Megatron) 프레임워크를 사용하여 구축되었다.

KT는 트랜스포머(Transformers) 기반 모델을 통해 기가지니 스마트 스피커와 고객 서비스 플랫폼 인공지능 컨택센터(AICC)의 품질이 크게 향상됐으며, 이를 기반으로 발화에서 문제 해결까지 유연한 AI비서 고객 경험과 국내 인공지능 컨택센터 구축형 시장 1등 사업자로 자리매김했다.

특히, AICC는 AI 음성 에이전트 및 기타 고객 서비스 관련 애플리케이션을 제공하는 올인원 클라우드 기반 플랫폼이다. 전화를 받고 요청된 정보를 제공하거나 고객을 상담원과 빠르게 연결하여 보다 자세한 문의에 대한 답변을 제공할 수 있다. 현재, 사람의 개입이 없는 KT AICC 플랫폼은 한국 전역에서 매일 10만 건 이상의 전화에 대응하고 있다.

KT는 LLM을 통해 기가지니는 더 나은 언어 이해력을 얻고 더 인간과 유사한 문장을 생성할 수 있으며 AICC 모델은 고객의 문의 유형을 더 빠르게 요약하고 분류하여 상담 시간을 15초 단축할 수 있다고 한다.

이처럼 큰 언어 모델 훈련 개발하는 것은 심도 있는 기술 전문 지식과 전체 스택 기술 투자가 필요한 값비싼 시간 소모적인 프로세스일 수 있지만 기가지니는 DGX 슈퍼POD의 강력한 성능과 네모 메가트론의 최적화된 알고리즘 및 3D 병렬 처리 기술을 사용하여 LLM 모델을 보다 효과적으로 학습시켰다.

초대형 딥러닝 모델을 여러 장치에 분할하는 분산 학습 방법인 3D 병렬 처리는 KT의 LLM을 학습하는 데 중요했지만 KT는 네모 메가트론을 통해 가장 높은 처리량으로 이 작업을 쉽게 수행할 수 있었다. 이는 하드웨어 수준에서 추론 수준까지 풀스택 환경을 제공하는 것이다.

KT는 네모 메가트론의 하이퍼파라미터 최적화 도구를 사용하여 다른 프레임워크보다 2배 더 빠르게 LLM을 학습시켰으며, 이러한 도구를 사용하면 사용자가 LLM 학습 및 추론을 위한 최상의 구성을 자동으로 찾아 개발 및 배포 프로세스를 쉽고 빠르게 진행한 것이다.

결과적으로 KT는 이 같은 프로세스와 자체 인공지능 기술력과 초거대 AI의 하모니로 모든 AI/DATA 서비스를 한 단계 진화시켜, 경쟁력 있는 인공지능 플랫폼과 서비스를 그 어느 때보다 빠르게 출시할 수 있게 되었으며, 디지털 플랫폼 기업(디지코: DIGICO)으로 입지를 강화하고 제공되는 기술이 고객의 가치를 높이고 혁신을 주도할 수 있는 게임체인저로 작용한 것이다.

한편, KT는 오는 11월 개발자를 위한 자연어 이해(NLU) 및 자연어 생성(NLG) ,자연어 처리(LNP) API 20종 이상을 출시할 예정이다. 이 플랫폼은 문서 요약 및 분류, 감정 인식, 잠재적으로 부적절할 수 있는 콘텐츠 필터링을 포함한 언어 및 대화 인공지능 애플리케이션에 활용할 수 있다.