GPT는 두 단계의 학습을 사용한다. 첫 번째는 일련의 다음 단어를 정확하게 예측하는 데 중점을 둔다. "신경망이 학습하는 것은 텍스트를 생성한 과정의 일부이며, 이는 세상을 투영한 것"이라고, "두 번째는 가드레일을 포함해 우리가 원하는 것을 신경망에 전달하여 더 신뢰할 수 있고 정확해지도록 하는 것"
오픈AI(OpenAI) 공동 설립자인 일리야 수츠케버(Ilya Sutskever)와 엔비디아(NVIDIA) 창립자 겸 CEO인 젠슨 황(Jensen Huang)이 함께, 현대 AI가 어떻게 시작됐고, 현재 위치는 어디인지, 앞으로 나아가야 할 방향은 무엇인지에 대해 담화를 진행했다.
이 대담은 수츠케버가 공동 설립한 연구 회사인 오픈AI에서 지금까지 가장 강력한 AI 모델인 GPT-4를 지난 14일, 출시한 다음 날 녹화됐으며, 22일(현지시간) GTC 2023서 공개됐다.
그들은 GPT-4와 챗GPT(ChatGPT)를 포함한 그 이전 버전에 대해 자세히 이야기했다. 이 생성형 AI 모델은 출시된 지 몇 달 밖에 되지 않았지만 이미 역사상 가장 인기 있는 컴퓨터 애플리케이션이 됐다.
두 사람은 수억 명의 사용자의 상상력을 사로잡고 있는 심층 신경망의 기능, 한계, 내부 작동 방식에 대해 이야기를 나눴다.
수츠케버는 "챗GPT와 비교했을 때 GPT-4는 여러 측면에서 상당한 개선이 이루어졌으며 새 모델은 텍스트뿐만 아니라 이미지도 읽을 수 있다"고 언급했다.
특히, 그는 "향후 버전에서는 [사용자]가 쿼리에 대한 응답으로 다이어그램을 다시 얻을 수 있다"고 그는 말했다.
대담에서 젠슨 황은 "챗GPT가 하나의 큰 언어 모델이라는 오해가 있지만, 그 안에는 여러 시스템이 존재한다"라고 말했다.
이러한 복잡성을 반영하듯 수츠케버는 오픈AI가 두 단계의 학습을 사용한다고 말했다.
첫 번째 단계는 일련의 다음 단어를 정확하게 예측하는 데 중점을 둔다. 수츠케버는 "신경망이 학습하는 것은 텍스트를 생성한 과정의 일부이며, 이는 세상을 투영한 것"이라고 말했다. 이어 그는 "두 번째는 가드레일을 포함해 우리가 원하는 것을 신경망에 전달하여 더 신뢰할 수 있고 정확해지도록 하는 것"이라고 덧붙였다.
오늘날 현대 AI의 소용돌이치는 중심에 서 있지만, 수츠케버는 인공지능의 탄생에도 함께했다.
2012년, 수츠케버는 대규모 데이터 세트로 훈련된 심층 신경망의 힘을 최초로 보여준 사람 중 한 명이다. 학술 경연 대회에서 AI의 선구자인 지오프 힌튼(Geoff Hinton)과 알렉스 크리제브스키(Alex Krizhevsky)와 함께 시연했던 알렉스넷(AlexNet) 모델은 인간보다 더 빠르게 이미지를 인식했다.
젠슨 황은 이들의 연구를 AI의 빅뱅이라고 불렀으며, 그는 그 결과가 "매우 큰 차이로 기록을 깼고 여기에 불연속성이 있다는 것이 분명했다"라고 말했다.
수츠케버는 이러한 혁신 중 일부는 GPU를 통해 모델에 적용한 병렬 처리에서 비롯됐다며, "GPU에 매우 적합한 이미지넷 데이터 세트와 컨볼루션 신경망 덕분에 전례 없는 속도로 기존에 없던 새로운 것을 훈련시킬 수 있었다”고 밝혔다.
초기 작업은 토론토 대학교 실험실에서 몇 대의 지포스 GTX 580 GPU로 실행됐다. 오늘날에는 마이크로소프트 애저(Microsoft Azure) 클라우드 서비스에서 수만 대의 최신 엔비디아 A100 및 H100 텐서 코어(Tensor Core) GPU가 챗GPT(ChatGPT)와 같은 모델에 대한 학습 및 추론을 처리한다.
젠슨 황은 "우리가 서로를 알고 지낸 세월이 10년이다. 그동안 훈련한 모델은 약 백만 배의 성장을 이뤘다. 컴퓨터 과학 업계의 어느 누구도 그 기간 동안 수행된 계산이 백만 배나 더 커질 것이라고는 믿지 않았을 것이다"라고 말했다.
수츠케버는 "나는 보다 큰 것이 더 좋은 성능을 지닐 것이라는 강한 믿음을 가지고 있었고, 오픈AI(OpenAI)의 목표 역시 확장이었다"라고 말했다.
수츠케버는 “인간은 일생 동안 10억개의 단어를 듣는다”고 말했다. 젠슨 황은 “내 머릿속으로 생각하는 단어도 거기에 포함되는지” 물었다. 이에 수츠케버는 “그것까지 포함해서 20억 개로 정정한다”고 대답했다.
이날 두 사람은 AI의 전망에 대해 논의하며 한 시간 가까이 진행된 대담을 마무리했다.
GPT-4에 추론 능력이 있느냐는 질문에 수츠케버는 이 용어는 정의하기 어려우며, 아직은 개발 단계일 수 있다고 답했다. 그는 "우리는 계속해서 우리를 놀라게 할 수 있는 시스템을 보게 될 것이다. 최우선 순위는 신뢰성이며, AI가 무엇을 할 수 있는지에 대해 사람들이 믿음을 가지고, AI가 무언가를 모를 때 모른다고 말할 수 있는 지점에 도달해야 한다”고 덧붙였다.
황은 이날 대담을 마무리하며 "오픈AI의 작품은 정말 놀랍습니다. 정말 놀랍습니다."라며, “이것은 박사 학위를 넘어서는 최고 중 하나였으며, 대규모 언어 모델의 최신 기술에 대한 설명입니다”라고 말했다.