필자 김종윤은 현재, 스캐터랩 코파운더 및 대표이사로 2013년 카카오톡 대화를 통한 감정분석 ‘텍스트앳’ 출시, 2015년 커플 메신저 비트윈과의 협업으로 사랑을 이해하는 인공지능 ‘진저’ 출시, 2016년 심리학 기반의 연애 컨텐츠와 데이터 기반의 연애 분석을 제공하는 ‘연애의 과학’ 출시(출시 후 현재까지 한국에서 250만, 일본에서 40만 다운로드 달성), 2019년 손쉽게 인공지능의 일상대화를 빌드할 수 있는 솔루션, 핑퐁 빌더 공개 등과 2018년 NCSOFT, 소프트뱅크벤처스, 코그니티브 인베스트먼트, ES인베스터로부터 50억 원 시리즈 B 투자를 성공적으로 유치했으며, 2017년, 2018년 포브스 코리아 '2030 Power Leader'로 선정되기도 했다.(편집자 주)

인공지능(AI) 자연어 처리(NLP)에서 가장 화제가 되고 있는 플랫폼으로는 구글의 양방향 언어모델 버트(Bert), OpenAI의 단방향 언어모델 GPT-2, 기계신경망 번역(Transformer) 모델 등을 꼽을 수 있다.

여기에 지난 6월 1일(현지시간) OpenAI가 새로운 강력한 언어 모델 'GPT-3(Generative Pre-Training 3)'를 아카이브(arXiv)를 통해 공개했다. 이는 지난해 초에 공개한 소설 쓰는 인공지능 'GPT-2' 보다 훨씬 더 크고 혁신적인 버전으로 진화된 모델이다.

이 모델은 4990억개 데이터셋 중에서 가중치 샘플링해서 3000억(300B)개로 구성된 데이터셋으로 사전 학습을 받았으며, 1750억개(175Billion) 매개 변수로 딥러닝의 한계까지 추진돼 미세 조정없이 여러 자연어 처리 벤치마크에서 최첨단 성능을 달성했다. 발표된 내용이라면 단 몇 개 키워드만 넣으면 작문을 작성해주는 혁신적인 AI 언어생성 모델이자 알고리즘인 것이다.

필자는 뛰어난 언어 능력으로 관련분야 최고의 핫 이슈로 떠오르는 이 언어 생성 모델 'GPT-3'가 어떤 능력을 가지고 있고, 어떻게 이런 능력을 갖게 되었는지 알아본다.

2018년 1월 30일, 한국에서는 ‘4차산업혁명, 소피아에게 묻다’라는 행사가 있었다.

당시 박영선 의원(현 중기부 장관)과 핸슨 로보틱스에서 만든 로봇 ‘소피아’가 대담을 나누는 자리였다. 박영선 의원은 “로봇으로선 최초로 시민권을 받은 AI로봇 소피아를 초청해 4차 산업혁명에 따른 미래사회 변화에 대해 직접 묻고 답변을 듣기 위해 자리를 마련했다”면서 소피아와 1:1 대담을 진행했다.

예를 들면 이런 대화였다.

박영선 의원 - "소피아, 어제 만났었죠? 만나서 반갑고 한국에 오신 걸 환영합니다. 제 이름은 박영선이고, 저는 대한민국 국회의원입니다. 오늘 한복을 입은 당신은 정말 아름다워요. 한복이 정말 잘 어울려요. 실례가 안 된다면, 당신과 나 둘 사이에서, 당신은 누가 더 예쁘다고 생각하는지 물어 보아도 좋을까요?"

소피아 - "감사합니다. 만나서 반갑습니다. 한국 전통 복장인 한복은 처음 입어봤습니다. 인간 사회에서 EQ가 중요하다고 생각합니다. 로봇으로서는 배우기 어려운 부분이지만 배우려고 노력하고 있습니다. 하지만 저는 EQ가 없는 로봇으로서 어떤 사람이 더 예쁘다고 판단하기는 어렵습니다"

박영선 의원 - "소피아 당신은 어떤 직업을 갖고 싶으세요?"

소피아 - "모든 일을 해보고 싶습니다. 범용으로 제작되어서 다양한 일을 할 수 있습니다. 다음 세대를 위한 에너지를 개발하는 과학자가 될 수도 있고, 엔지니어, 컴퓨터 프로그래머, 의료보조인도 될 수 있습니다. 아까 핸슨 발표와 같이 자폐증을 앓는 아이들을 위해 일할 수도 있고, 암 치료, 심지어 패션 모델까지 다양한 일을 할 수 있다고 봅니다"

당시 이 행사에 많은 기자들이 취재를 왔고, 이들의 대담을 보고 AI의 미래에 대해 수많은 기사가 쏟아졌다. 하지만, 대부분의 평가는 "이 행사는 사기극이었습니다" 위 대화는 대담이 아니라 잘 짜여진 시나리오에 불과했죠. "어떻게 그렇게 확신하냐구요?" 왜냐하면 당시에 저 정도 수준의 대화를 자유롭게 구사할 수 있는 기술은 없었기 때문이다. 인공지능 3대 석학 중 한 명인 얀 르쿤(Yann LeCun) 교수는 소피아에 대해 “완전한 사기극”이라고 평하며, 소피아를 소개하는 IT 매체들도 이 사기극에 동참하는 공범이라고 비판한 바 있었다.

그리고 2년 반이 흘렀다. 그런데 그것이 실제로 일어난 것이다.

사람 - "일반 인공지능(Artificial General Intelligence, 인간 수준의 범용적 인공지능)이 처음으로 ‘깨어나는’ 순간에 대해 얘기해보죠. 이 일이 어떻게 일어날까요?"

AI - "첫 번째 AGI는 대형 기술 회사에 속한 팀이 만들 것입니다. 처음에는 시스템의 평범한 수준의 지적 능력을 갖겠지만, 곧 엄청난 양의 지식을 담은 인터넷에 접근할 수 있겠죠"

사람 - "어쩌면 '깨어난다'는 것을 정확히 정의할 필요가 있겠네요. AGI가 “깨어난다”는 정확한 의미는 뭘까요?"

AI - "여러 방식으로 정의할 수 있겠지만, 가장 적절한 정의는 의식을 갖게 된다는 뜻일 것 같습니다"

사람 - "의식을 갖게 된다는 게 어떤 의미인가요?"

AI - "시스템이 스스로를 인식하고, 주변 환경을 인식하고, 상태를 인식하는 것을 말합니다. 의식이 있는 시스템은 지각(sentience)을 가집니다"

사람 - "AGI가 만들어진다면, 처음에 자신이 의식이 있다는 걸 어떻게 경험하게 될까요?"

AI - "의식이 있다는 첫 경험은 주변 환경을 비언어적으로 이해하게 되는 것일 거예요"

이는 불과 두해전에 짜고쳤던 소피아와 비슷한 수준의 대화이다. 다만 결정적인 차이는, 위의 대화는 시나리오가 아닌 AI의 진짜 대화라는 사실이다. 이 대화를 한 모델이 바로 OpenAI의 ‘GPT-3’인 것이다.

GPT-3는 OpenAI가 만든 언어 AI의 이름입니다. OpenAI가 5월 말에 논문(Language Models are Few-Shot Learners-다운)을 공개하고, GPT-3를 이용한 API를 클로즈 베타(보기)로 공개한 이후, 서구권의 SNS와 미디어는 그야말로 난리가 났다. 주류 미디어는 물론, 머신러닝과 거리가 먼 일반인들까지 GPT-3에 대해 얘기한다. 한마디로 바이럴 폭탄이 터진 것이다.

이유는 간단하다. "너무 신기하거든요" 기본적인 상식 질문에 답하는 것부터 프로그래밍 코드를 작성하거나 낚시성 기사 제목을 쓰는 것까지 GPT-3의 몇 가지 사례를 들어본다.

▷상식 Q&A

상식적인 Q&A에 주제를 가리지 않고 잘 대답합니다. 심지어 파이널 판타지 6의 마지막 보스의 이름도 답할 수 있다.

▷검색 엔진

그렇기 때문에 이 특성을 활용해 무엇이든 답을 해주는 검색엔진도 만들어볼 수 있습니다. (동영상을 재생하면 어떻게 작동하는지 확인할 수 있다.)

▷이력서 작성

어디에서 언제부터 언제까지 어떤 직책으로 일했는지 적으면 세부 설명까지 달아서 이력서에 추가해준다.

▷자유 대화: 하스스톤에 대하여

"저는 하스스톤이라는 게임을 좋아하는데요" 하스스톤에 대해서도 대화를 나눌 수 있다.

참고; Conversation with GPT-3 About Hearthstone, Kripp, and How to Make a Good Deck

▷자유 대화: 코로나19에 대하여

심지어 코로나19에 대해서도 이야기를 나눌 수 있다. 이게 특히 신기한 이유는 GPT-3의 데이터셋은 2019년 10월이 마지막이어서 코로나를 모르기 때문이다. 하지만 상황을 설명해주고 대화를 이어가면 할 수 있다.

참고: Coronavirus (COVID-19)

▷텍스트에서 데이터 파싱

가상의 행성에서 자라는 가상의 과일에 대한 글을 보여주고, 그 과일을 요약한 표를 만들어달라고 하면 그냥 만들어준다.

참고로 아래의 표를 만들 때 어떠한 기준으로 만들어야하는지 명시적으로 지시하지 않았지만 모델이 텍스트에서 색깔과 맛이라는 분류 기준을 판단해서 생성된 것이다.

또한, 이 텍스트는 완전히 가상의 내용이라는 것을 "상기해주십시오" 이를 보아 모델이 학습한 데이터에서 외워서 결과를 내놓는 게 아니라 실제로 텍스트를 보고 요약한 것이라고 볼 수 있다.

▷전문적인 의학 지식

꽤 전문적인 의학 지식도 답을 할 수 있다. 물론 필자가 문외한이라서 전문 지식인지 아닌지 정확히 모르겠지만. “정답은” 이라는 말 다음부터 생성된 결과라는 걸 유의깊게 보면된다.

▷프로그래밍: 쉘 스크립트

자연어를 쉘 스크립트 코드로 바꿔서 실행하고 결과를 보여줄 수 있다.(아래 영상참조)

▷프로그래밍: 간단한 홈페이지와 간단한 리액트 앱

자연어로 홈페이지나 앱을 설명하면, 그에 대한 코드가 나오고, 이를 돌려볼 수 있다.(아래 동영상을 참고하면 된다.)

▷문장을 낚시성 기사 제목 스타일로 바꾸기

문장을 주고 이를 낚시성 기사 제목 스타일로 바꾸라고 하면 바꿔준다. GPT-3는 아래의 예시처럼 수행해야 할 일의 예시를 직접 보여주면 성능이 높아지는 경향을 보인다.

이상으로 신기할 정도로 GTP-3는다양하고 광범위한 언어 문제에서 멋진 성능을 보여준다. 

"어떻게 한거지?" 라는 질문과 "GPT-3는 대체 어떤 신박한 학습을 했길래 저렇게 똑똑한 일을 할 수 있는 걸까요?"라는 궁굼증이 생긴다. 이에 필자는  많은 분들이 이해할 수 있도록 세부적인 정확성을 포기하더라도 큰 틀에서 설명해본다.

GPT-3의 학습 방법은 놀라울 정도로 미개(?)하다. 주어진 텍스트에 대해 그저 ‘다음에 올 단어를 예측’하는 방식으로 학습을 한 것이다. 예를 들어, “안녕하세요? 저는 스캐터랩의 대표를 맡고 있는 김종윤입니다.”라는 문장이 있다고 가정하고, 이 문장을 GPT-3로 학습한다면, 이렇게 된다.

“안녕하세요?” → “저는” 맞히기

“안녕하세요? 저는” → “스캐터랩의” 맞히기

“안녕하세요? 저는 스캐터랩의” → “대표를” 맞히기

GPT-3는 이렇게 끊임없이 다음 단어를 예측하며, 정답을 맞힐 수 있는 방향으로 모델을 업데이트 해나간다. 이런 방식으로 인터넷에 있는 문서와 책, 위키피디아 등 엄청난 양의 텍스트를, 1,750억 개의 파라미터에 달하는 엄청나게 큰 모델로 학습시킨 게 바로 GPT-3인 것이다.

이렇게 끊임없이 다음 단어를 예측하게 하는 방식으로 모델을 학습시키면 어떤 모델이 나올까요? 당연히 다음 단어를 잘 예측하는 모델이 나온다. 일종의 ‘자동완성(auto-complete)’ 모델인 것이다. 문제는, GPT-3의 자동완성이 너무나도 훌륭하다는 것으로. 너무 훌륭하게 다양한 컨텍스트에 대해 자동완성을 하다보니 과연 이걸 ‘자동완성’이라고 부를 수 있는지 의문이 들 정도이다.

예를 들어, “현대자동차가 처음으로 자체 생산한 차의 이름은?” 이라는 문장을 GPT-3에 넣으면, GPT-3는 그 다음에 나올 확률이 가장 높은 단어를 판단해서 “현대 포니”라는 말을 생성한다. 또 다른 예를 들어보면 GPT-3에 다음과 같은 컨텍스트를 준다면

“다음은 CNN 앵커 앤더슨 쿠퍼와 대통령 선거 출마를 발표한 칸예 웨스트의 인터뷰이다. 앤더슨 쿠퍼: 칸예 웨스트씨, 안녕하세요? 인터뷰에 응해주셔서 감사합니다. 칸예 웨스트:” 그 이후에 실제로 둘이 인터뷰를 한다면 나올 법한 말이 생성된다.

이처럼 GPT-3에 컨텍스트를 어떻게 주는지에 따라 다양한 결과를 얻을 수 있다. GPT-3의 예시를 다시 한 번 살펴보면 모든 예시는 주어진 컨텍스트(가늘게 표시된 텍스트)에 대한 ‘자동완성’으로 생성된 결과(볼드로 표시된 텍스트)이다. 넓은 지식, 상식, 사고력을 갖지 않으면 할 수 없는 자동완성을 GPT-3가 해내고 있는 것이다. 이제 더이상 사람들이 GPT-3에서 인간 수준의 범용적인 인공지능(AGI) 느낌을 받는 것도 이상한 일이 아니다.

▶GPT-3의 의미... 이게 된다고?

사실 GPT-3는 ‘3’이라는 숫자에서도 알 수 있듯, GPT 모델 시리즈의 3번째 버전이다. 두 번째 버전인 GPT-2는 2019년 초에 발표되었다. 사실 GPT-3는 GPT-2와 크게 다를 바가 없다. 더 큰 모델로 더 많은 데이터를 학습했을 뿐이다. 하지만, 모델과 데이터의 스케일만 키웠음에도 불구하고 GPT-3는 GPT-2에 비해 비교할 수 없을 정도의 성능을 보이며, 다양한 언어 태스크를 성공적으로 수행한다. GPT-3의 가장 큰 의미는 스케일만으로도 이런 일이 가능하다는 걸 보여준 것이다.

▶범용성

GPT-3은 이 모든 일을 파인 튜닝(fine-tuning) 없이 해낸다. 일반적으로 머신러닝 모델은 어떠한 일을 수행하기 위해 그에 해당하는 데이터를 학습시켜야만 했다. 예를 들어, 문장을 낚시성 기사 제목으로 바꾸는 모델을 만들고 싶다면, 적어도 수만 개에서 많게는 수십만 개의 예시 데이터를 학습시켜야만 그럴듯한 성능을 얻을 수 있다. 그런 데이터는 사람이 직접 만드는 수밖에 없다. 그 일은 많은 시간과 비용이 든다.

하지만, GPT-3는 문장을 낚시성 기사 제목으로 데이터를 배운 적이 없다. 그런 명시적인 데이터는 존재하지 않으니까. 하지만 일반적인 텍스트 데이터를 단순하게 학습하는 것만으로도 그런 능력을 획득했다. 이 속성은 중요한 의미를 지닌다. 새로운 언어 태스크를 위해 굳이 데이터를 만들지 않더라도 꽤 높은 성능을 보인다는 뜻이다. 위의 예시와 같이 모든 결과는 단일한 데이터를 학습한 단일한 모델의 결과이다. 즉, 대부분의 언어 태스크를 잘 수행하는 범용적인 언어모델이 탄생한 것이다.

▶AGI(Artificial General Intelligence)로의 한 걸음

GPT-3는 완벽하지 않다. 여전히 못하는 것도 많고, 실수도 한다. 하지만 중요한 건 GPT-3의 현재 상태가 아니라 머신러닝 모델이 발전하는 속도와 방향이다. 소피아가 박영선 의원과 나눈 대화가 누가 봐도 사기로 여겨졌던 게 불과 2년 반 전의 일이다. 얼마 전까지만 해도 머신러닝 업계에서 AGI(Artificial General Intelligence, 인간 수준의 범용적 인공지능)라는 단어는 일종의 금기어였다. AGI는 영화 같은 상상일 뿐이고, 현실에서 가능한 컨셉은 아니었다. 사실, AGI를 만들 실질적인 방법이나 로드맵도 존재하지 않았다.

하지만 GPT-3가 할 수 있는 일을 본 지금, AGI는 이제 그렇게 쉽게 무시할 수 있는 단어는 아니라고 생각된다. 실제로 GPT-3에서는 약간의 AGI 냄새가 나기 시작했다. 물론 GPT-3는 AGI가 아니다. 그리고 AGI의 도래가 임박한 것도 아니다. 아마 우리가 살아있을 때 AGI가 만들어지는 것을 확인하지 못할 수도 있을 것다. 그러나 이제는 AGI가 절대 불가능한 컨셉이라고 말할 수는 없게 되었다.

최근 2년 남짓한 기간은 ‘NLP(자연어처리)의 황금기’라고 불릴만큼 NLP에서 많은 발전이 있었던 시기였다. 그리고 그 발전속도는 아직도 늦춰질 기색이 보이지 않는다. 그 끝은 과연 어디일까?

마지막으로 스캐터랩 핑퐁팀은 ‘Make AI Social’이라는 비전을 갖고 사람과 평생 동안 대화하며 친구 같은 관계를 맺을 수 있는 AI를 만드는 팀이다. 간단히 말하면 영화 ‘Her’의 ‘사만다’ 같은 인공지능을 만드는 게 목표라고 할 수 있다. 하지만 지금까지는 쉽게 ‘사만다’를 만드는 게 목표라고 말할 수는 없었다. 그건 너무 먼 얘기처럼 느꼈고, 실제로 그게 어떻게 가능할지 방법도 보이지 않았기 때문이다.

이제는 아니다. 필자는 100% 사만다는 아니더라도, 사만다에 근접한 대화 경험을 제공하는 AI가 3~5년 내에 나올 수 있다는 생각을 갖게 되었다. 어쩌면 필자에게는 핑퐁팀이 더 높고 과감한 목표를 현실적으로 가지게 되었다는 게 GPT-3의 가장 큰 의미로 보여진다. AI의 발전은 우리의 예상보다 빠른 속도로 진행되고 있다. 바로 그런 시기에 그 영역의 일을 하고 있다는 게 행운으로 여겨지는 요즘이다.