인공지능 시대로의 진입이 현실로 다가오고 있다. 그 가운데 AI 언어 모델은 국내외 AI 커뮤니티를 넘어 단연, 최고의 이슈이다.

인공지능 언어 모델은 텍스트를 인지하고, 그 의미를 이해할 뿐만 아니라 문서 등 방대한 텍스트가 포함된 데이터로부터 정보를 추출하고, 분류하며, 나아가 직접 텍스트를 생성하는 기술로, 자연어처리(NLP) 기술로 대표된다.

이 기술은 자연어 분석, 자연어 이해, 자연어 생성 등의 기술이 사용된다. 특히, 자연어 분석 기술은 그 정도에 따라 형태소 분석(Morphological Analysis), 구문 분석(Syntactic Analysis), 하나로써 문장의 의미에 기저(基底)하여 그 문장을 해석하는 시멘틱 분석(Semantic Analysis)과 문장이 실제로 무슨 의미를 내포하는지 결정하는 실용 분석(Pragmatic Analysis) 등으로 크게 나누어 구분할 수 있다.

대부분은 기술들은 AI 구동 텍스트 생성기의 능력에 초점을 맞추고 있다. 연구 단계에서 이 기술을 개발하는 것과, 이를 상용화하는 것은 전혀 다른 문제라고 해도 과언이 아닐 것이다.

AI 언어 모델은 우리 생활과 산업에서 활용돼 혁신을 가속하고 있으며, 사용자들은 AI를 사용하여 기사 작성에서 코드를 작성하는 직관적인 능력까지 모든 것을 생성하기 위해 흥미로운 결과를 경쟁적으로 내고 있다.

오픈 AI의 GPT-3(참고)가 공개된 지 11개월이 지났다. 1,750억개 매개변수의 GPT-3는 역사상 가장 뛰어난 언어 인공지능(AI)가 되었을 뿐만 아니라, 역사상 가장 유명한 언어 AI가 된 것이다. 물론 반론도 따르지만 이런 현상은 GPT-3가 타 모델과 차원이 다른 언어 생성 성능을 보여주었기 때문이다.

또한 지난달 26일, 중국 화웨이가 GPT-3를 넘는 최대 2,000억개의 매개변수를 포함하는 750기가바이트(GB)로 대규모 자연어처리(NLP) 모델인 '판구 알파(PanGu Alpha)'를 개발하고 아카이브를 통해 공개(참고)했다.

화웨이의 이 초거대 언어 모델은 설계에서 트랜스포머(Transformer) 기반 자기회귀언어(Autoregressive Language) 모델을 기본 아키텍처로 선택했다. 또, 다른 쿼리 레이어가 트랜스포머 레이어 위에 추가되어 모델이 최대 2,000억 개의 매개 변수를 확장할 수 있었다.

국내 역시 이 초거대 AI 언어 모델 개발에 뜨겁다.

먼저, 지난해 4월, SK텔레콤이 아마존웹서비스(AWS)와 협력해 오픈 AI의 GPT-3 이전 모델인 ‘GPT-2’에 상응하는 최초의 한국어로 학습된 오픈소스 기반 모델인 ‘KoGPT-2(Generative Pretrained Transformer-2. 다운)’을 공개했다.

‘KoGPT-2’는 일반적인 질문에 대한 응답 생성, 문장 완성, 챗봇 등 한국어 해석이 요구되는 광범위한 애플리케이션의 머신러닝 성능을 향상시킬 수 있으며, 개발자들은 ‘KoGPT-2’를 직접 사용하거나 추가 학습을 함으로써 보다 적은 자원과 자연어처리 지식으로도 대규모 언어 모델 학습과 같은 자연어처리 업무를 보다 빠르게 처리할 수 있으며, ‘KoGPT-2’는 챗봇 구축, 텍스트 감성 예측, 텍스트 분석 기반 응답 생성에 사용될 수 있다.

초거대 AI 언어 모델에 가장 선도적으로 나선 네이버는 AI 연구조직을 확대하고 지난해 10월 ‘네이버 AI LAB(소장 하정우)’을 개설한데 이어 검색, 메신저 등으로 확보한 방대한 데이터를 신속하고 안전하게 처리할 수 있는 700 페타플롭(PetaFLOP) 이상의 성능을 갖춘, 세계에서도 손꼽힐 수 있는 슈퍼컴퓨터를 구축하고 ‘GPT-3’를 능가할 초거대 언어 모델을 한국어, 일본어로 구축해 한-일 사용자, 기업 등에게 영어 일변도에서 자국어를 통한 새로운 AI 경험과 비즈니스 기회를 제공해 나간다는 계획이다.

또한 네이버와 서울대는 ‘초대규모 AI’ 분야에서 공동 연구를 위해, ‘서울대-네이버 초대규모 AI 연구센터(SNU-NAVER Hyperscale AI Center)'를 지난 10일 설립(참고)하고 AI 연구원 1백여명이 참여해 3년간 연구비, 인프라 지원비 등을 포함해 수백억원 규모의 투자가 진행된다.

인공지능(AI) 분야 국내 최고 전문가 중 한명 인 서울대학교 공과대학 컴퓨터공학부 전병곤 교수 또한, GPT-3와 같은 초거대 AI 모델을 빠르게 분산 학습하고 추론하는 기술 등에 집중하고 있다. 전 교수는 “이를 위해 프렌들리에이아이(friendli.ai)를 설립하였으며, 초대형 언어 AI을 대규모 분산 학습으로 만들어 사용자들에게 제공하겠다”고 말했다.

LG의 AI 전담조직인 LG AI연구원은 지난 17일, '초거대 AI' 개발을 위해 1초에 9경 5,700조 번의 연산 처리가 가능한 글로벌 Top3 수준의 AI 컴퓨팅 인프라를 구축하고,  GPT-3가 보유한 1,750억개 파라미터의 3배를 넘어선 6천억개 파라미터를 갖춘 '초거대 AI(참고)'를 올 하반기에 공개할 예정이라고 밝혔다.

여기에, KT와 KAIST가 인공지능 시대 이끌 ‘AI·SW 기술 연구소(참고)’를 공동 설립하고 사람과 유사한 대화와 추론, 음성·영상·센싱 등 복합 정보 기반의 정교한 상황 인지와 답변이 가능한 AI 모델 개발에 나선다고 22일 밝혔다.

인간처럼 대화하는 'AI 대화 모델' 역시 뜨겁다!

국내 AI스타트업 스캐터랩(대표 김종윤)의 대화형 AI '이루다'가 지난해 12월 23일 서비스를 시작한지 2주 남짓의 기간 동안, 무려 75만명에 가까운 사용자를 통해 대화형 AI 열풍을 일궈냈지만 '이루다'는 이슈와 동시에 각종 논란에 휩싸였다.

결국, 출시한지 2주 만에 인공지능 '이루다'의 제작사는 일부 혐오와 차별에 대한 대화 사례 및 개인정보 활용에 대해 충분히 소통하지 못한 점에 대해 진심으로 사과하고 지난 1월 11일 서비스를 종료하고 '이루다'의 데이터베이스 및 학습에 사용된 딥러닝 대화 모델을 폐기하기로 결정했다.

비록, 꽃도 피우지 못하고 지고 말았지만 '이루다'는 세계 최고 수준의 대화 능력을 보유한 일상적인 대화를 나눌 수 있는 대화형 AI다. 명령을 수행하는 AI와는 다르게 친근한 어투로 생동감 있는 대화를 구사하는 기술이 특징이다.

구글은 오픈 도메인(Open-domain) 대화기술의 성능 평가 지표로 SSA(Sensibleness and Specificity Average)를 제시했는데 사람의 경우 SSA 86%의 점수를 기록한다. 이루다는 SSA 78%를 기록했다. 이는 지난해 초 구글에서 만든 오픈 도메인 챗봇 미나(Meena)의 성능인 76~78%를 웃도는 수준이다. 한국어를 기반으로 한 대화형 AI 기술로 이룬 뛰어난 성과였다.

개인정보위원회(위원장 윤종인)는 지난 1월 12일 ‘이루다‘ 논란에 조사를 착수했고, 국민과 산업계에 미치는 영향을 고려하여, AI 개발과 서비스 제공 과정에서의 개인정보 처리현황과 법리적·기술적 쟁점에 대하여 산업계, 법·학계, 시민단체 의견을 수렴하고, 지난달 28일, 이루다의 제작사 스캐터랩에 대하여 총 1억 330만원의 과징금과 과태료 등을 부과하는 것으로 이 사태는 종료됐다.

이는 AI 기술 기업의 무분별한 개인정보 처리를 제재한 첫 사례로, 기업이 특정 서비스를 목적으로 수집한 개인정보를 이용자의 명시적 동의 없이 다른 서비스를 위하여 이용하는 것을 제한하고, 이를 통해 AI 개발과 서비스 제공 시 올바른 개인정보 처리 방향을 제시할 수 있을 것으로 보인다.

여기에, 지난 18일부터 20일까지 가상으로 개최된 구글의 연례 개발자 컨퍼런스 '구글 I/O'에서 선다 피차이(Sundar Pichai) 구글 최고경영자(CEO)가 사람처럼 대화가 가능한 대화형 AI '람다(LaMDA, Language Model for Dialogue Applications)'를 시연하면서 또 다른 언어 인공지능(AI)에 관심이 집중되고 있다.

선다 피차이 구글 CEO는 지난 18일(현지시간) "오늘 저는 자연어 이해에 관한 최신 연구인 LaMDA를 공유하게 되어 기쁩니다. LaMDA는 대화 애플리케이션을 위한 언어 모델입니다. 개방형 도메인이므로 모든 주제에 대해 대화하도록 설계되었습니다"라며, 예를 들어, "LaMDA는 명왕성에 대해 꽤 많이 이해합니다. 따라서 학생이 우주에 대해 더 많이 발견하고 싶다면 명왕성에 대해 물어볼 수 있으며 모델은 현명한 응답을 제공하여 학습을 더욱 재미있고 흥미롭게 만듭니다"라고 말했다.

이어 그는 "그 학생이 다른 주제(예: 좋은 종이비행기를 만드는 방법)로 전환하고 싶다면 LaMDA는 재교육 없이 대화를 계속할 수 있습니다"라고 덧붙였다. 이것은 LaMDA가 정보와 컴퓨팅을 근본적으로 더 접근 가능하고 사용하기 쉽게 만들 수 있다고 믿는 방법 중 하나이다.

또한 그는 "우리는 수년 동안 언어 모델을 연구하고 개발해 왔습니다. LaMDA가 공정성, 정확성, 안전 및 개인 정보 보호에 대한 매우 높은 기준을 충족하고 AI 원칙에 따라 일관되게 개발되도록 하는 데 중점을 두었습니다"라며, "또한 대화 기능을 구글 어시스턴트, 검색 및 작업 공간과 같은 솔루션에 통합하고 개발자와 기업에게 이 기능을 제공할 수 있기를 기대합니다"라고 람다에 대한 포부를 밝혔다.

이 람다의 대화 기술은 구글이 몇 년 동안 구현해 왔다. BERT와 GPT-3를 포함한 많은 최근 언어 모델과 마찬가지로 구글 리서치가 2017년에 개발하고 오픈소싱한 신경망 아키텍처인 트랜스포머(Transformer)를 기반으로 구축되었다. 그 구조는 많은 단어(문장이나 단락)를 읽도록 훈련할 수 있는 모델을 만들어 내고, 그 단어들이 서로 어떻게 관련되는지에 주의를 기울이고, 그 다음에 어떤 단어가 나올지 예측한다.

람다는 2020년 2월에 구글 리서치 브레인 팀이 발표한 '인간다운 오픈 도메인 챗봇을 향해(Towards a Human-like Open-Domain Chatbot-다운)' 란 연구를 기반으로 하여 대화에 대해 훈련 된 트랜스포머 기반 언어 모델이 거의 모든 것에 대해 이야기하는 방법을 학습할 수 있음을 보여주었다.

그 이후로 구글은 일단 훈련을 받으면 람다를 미세 조정하여 반응의 민감성과 특이성을 크게 향상시킬 수 있음을 발견했다고 한다.

구글은 이러한 람다의 초기 결과에 고무적이고 더 빨리 공유하기를 기대하지만, 람다와 같은 모델에서 구글이 찾고 있는 것은 감성과 특수성뿐만이 아니라 반응이 통찰력인지, 예상치 못한 것인지, 재치 있는 것인지 평가함으로써 흥미(Interestingness)와 같은 차원을 탐색하고 있다.

또한 사실성(즉, LaMDA가 사실을 고수하는지, 언어 모델이 종종 어려움을 겪는지 여부)에 신경을 많이 쓰고 있으며, 람다의 반응이 단지 설득력이 있는 것이 아니라 정확하다는 것을 보장하기 위한 방법을 계속 연구하고 있다고 밝혔다.

특히, 구글은 람다의 기술과 관련하여 가장 중요시 하는 것은 '구글의 AI 원칙(보기)'을 준수하는지 여부다. 언어는 인류의 가장 큰 도구 중 하나 일 수 있지만 모든 도구와 마찬가지로 오용될 수 있다.

위에서 언급됐듯 한때, 국내 AI 커뮤니티를 뜨겁게 달궜던 스캐터랩의 AI 대화 모델 ‘이루다’ 사태(보기)에서 언어에 대해 훈련 된 모델은 개인정보를 침해 한다거나 편견을 내재화하거나 혐오스러운 말을 미러링하거나 오해의 소지가 있는 정보를 복제하여 오용을 전파할 수도 있다.

결론적으로 잘 구현된 AI 언어 모델은 계속해서 뛰어난 유용성과 유연성을 보여 주지만 모든 혁신과 마찬가지로 여전히 악용될 수 있고 위험을 초래할 수도 있다. 이를 책임감 있게 개발한다는 것은 이러한 위험을 사전에 식별하고 이를 완화할 수 있는 방법을 개발하는 것을 의미한다.

그럼에도 불구하고 언어 인공지능(AI) 모델의 진화는 기업과 소비자 모두에게 여러모로 중요한 영향을 미칠 것이며, 인간 언어의 의미와 뉘앙스를 이해할 수 있는 AI 알고리즘으로 발전하면서 의료 산업이나 법률, 교육계 등 다양한 분야에서 어떤 파급 효과를 가져 올 것인지 가늠케 한다.

또한 인간의 대부분의 지식이 언어로 표현되어 있기에 대량의 비정형화된 언어로부터 세상의 지식을 추출하고 가공할 수 있는 AI 언어처리 기술은 차세대 초연결, 초지능 사회 구축을 위한 기반이 되는 매우 중요한 기술이자, 인공지능을 구현하기 위한 기반이자 핵심 기술로 작용하고 있다.