GPT-3와 페이스북 AI의 블렌더봇 첫 번째 버전과 같은 인공지능(AI) 언어 생성 모델은 적어도 진행 중인 대화의 맥락에서 자신을 명확하게 표현하고 현실적으로 보이는 텍스트를 생성할 수 있다. 하지만, 그들은 매우 짧은 기억력과 정적인 정보로 이전에 학습된 것에 한정되어 있다.

즉, 그들은 이전에 학습한 것에 국한된다는 것으로 결코 추가적인 지식을 얻을 수 없다는 것이다. 예를 들어, GPT-3와 이전의 블렌더봇은 NFL 슈퍼스타 톰 브래디(Tom Brady)가 여전히 뉴잉글랜드 패트리어츠(New England Patriots)에 있다고 믿고 있으며, 그가 탬파베이 부케너스(Tampa Bay Buccaneers)와 함께 2021년 슈퍼볼에서 우승했다는 것을 알지 못한다.

게다가 그들은 과거의 인기 있는 TV쇼와 영화에 대해 알고 있지만, 미국의 슈퍼히어로 드라마 완다비전(WandaVision)과 같은 새로운 시리즈에 대해서는 전혀 알지 못한다.

다시 말해, 어제 GPT-3나 블렌더봇에 뭔가 얘기했다면 오늘 대화에서는 어제의 기억을 잊어버린다. 여기에, 더 안좋은 것은 알고리즘의 결함 때문에 모델들은 환각적인 지식(Infamously Hallucinate knowledge)으로 즉, 정확하지 않은 정보를 자신 있게 이야기한다.

이에 페이스북 AI 연구소(Facebook AI Research)는 지속적으로 접속할 수 있는 장기기억장치(Long-Memory)를 구축하고 현재까지의 어떤 모델보다 실시간 인터넷 검색과 거의 모든 주제에 대한 정교한 대화 등을 동시에 할 수 있는 성능이 뛰어나고 더 인간적인 느낌을 줄 수 있는 새로운 인공지능(AI) 챗봇 '블렌더봇 2.0 (BlenderBot 2.0)'모델과 데이터 세트를 16일(현지시간) 오픈소스로 공개했다.

이 솔루션은 인성, 공감, 지식과 같은 여러 대화 기술을 단일 시스템으로 결합한 최초의 AI 챗봇으로 사람들과 대화할 때, 지난해 5월 공개한 이전 모델인 ‘블렌더 1.0(BlenderBot 1.0)’ 보다 다양한 세션에서 더 길고, 더 박식하며, 사실적으로 일관된 대화를 구사한다.

특히, 이 모델은 대화중에 수집한 관련 정보는 장기기억에 저장하므로 며칠, 몇 주 또는 몇 달 동안 계속될 수 있는 지속적인 대화에서 이 지식을 활용할 수 있다. 또 지식은 대화하는 사람마다 별도로 저장된다. 단, 한 대화에서 학습된 정보는 다른 대화에서 사용되지 않는다.

또한 대화중에 이 모델은 상황별 인터넷 검색 쿼리를 생성하고 결과를 읽고 사람들의 질문과 의견에 응답할 때 그 정보를 통합할 수 있다. 이것은 그 모델이 끊임없이 변화하는 세계에서 학습하고 최신 상태를 유지한다는 것을 의미한다.

페이스북 AI는 전체 모델, 코드 및 평가 설정을 공개하고, 인터넷 검색으로 강화된 인간 대화와 이전 세션을 참조하는 사람들과의 다중 세션 채팅 등 두 가지 새로운 대화 데이터 세트 역시 공개해 전 세계 연구자 및 개발자들이 이 모델을 재현하고 대화 AI 연구를 진전시킬 수 있도록 했다.

새로운 AI 대화형 모델 '블렌더봇 2.0 (BlenderBot 2.0)'은 많은 작업에서 대화 모델을 공유하고 학습 및 평가하기 위한 페이스북의 오픈소스 통합 플랫폼인 팔에이아이(ParlAI-다운)를 기반으로 한다. 또한 기억에 접근하고 환각(Infamously)을 줄이는 능력으로 블렌더봇 2.0은 공감, 지식, 성격 등 다양한 대화 기술을 한 시스템에서 혼합한 최초의 AI 챗봇인 블렌더봇 1.0 버전(2020.5.2, 본지 기사 참조)을 기반으로 한다.

언어 모델 생성에 대한 연구가 빠르게 진행되고 있으며, 산업으로서 우리는 챗봇의 대화 능력을 크게 확장하기 위한 그 어느 때보다도 더 좋은 도구를 가지고 있다. 기존의 시스템은 음식, 영화, 밴드 같은 것에 대한 기본적인 질문을 하고 대답할 수 있다. 예를 들어, 그들은 현재, 톰 브래디(Tom Brady’s)는 탬파베이 버커니어스(Tampa Bay Buccaneers) 소속이며 포지션은 쿼터백이며, 그에 대한 경력 등을 자세히 토론하는 것과 같은 더 복잡하거나 자유로운 대화에는 여전히 먹통이다.

그러나 위에서 언급했듯이 블렌더봇 2.0에 기반 한 기술은 며칠, 몇 주, 심지어 몇 달 동안 지속될 수 있는 어떤 주제에 대해서도 멀티세션 대화를 할 수 있고, 대화가 진화함에 따라 알고 말할 수 있는 것을 더함으로써 일상생활과 비지니스에 유용하게 사용될 수 있을 것으로 예상된다.

이처럼 블렌더봇 2.0은 대화중에 인터넷 검색 쿼리를 생성하고, 최신 상태를 유지, 지식과 정보를 구축하고, 사용하고 이전 아이디어를 다시 언급할 수 있는 최초의 진정한 AI 챗봇으로 인터넷을 통해 관련 정보를 저장하고 대화를 확대하는 능력을 포함한 이러한 발전은 현재의 AI 대화형 시스템의 단점을 극복한 것으로 기존 시스템의 대화 능력을 훨씬 능가한다고 한다.

이 능력을 통해 모델은 인터넷에서 사용할 수 있는 광범위한 주제 중에서 현재, 진행 중인 최신 스포츠 경기 결과와 영화 또는 TV 프로그램뿐 아니라 최신 리뷰를 대화 내용에 잠재적으로 포함시킬 수 있다. 이는 모델은 사실적인 사실에 기반하고 자의적으로 추론하지 않는다는 것을 의미한다.

블렌더봇 2.0은 페이스북의 오픈 소스인 지능형 자연어처리(NLP) 모델 생성을 간소화하는 '검색 증강 생성(Retrieval Augmented Generation-다운)' 모델을 기반으로 이 접근 방식은 대화 자체에 포함된 지식을 넘어서는 대화 응답을 생성할 수 있도록 한다. 대화중에 정보 검색 구성 요소와 seq2seq 생성기를 결합한 모델은 장기 메모리와 인터넷을 검색하여 찾은 문서 모두에서 관련 정보를 찾는다.

이를 위해 대화 컨텍스트에서 관련 검색 쿼리를 생성하는 추가 신경망 모듈로 기존 인코더-디코더 아키텍처를 보강한다. 그런 다음 블렌더봇 2.0은 Fusion-in-Decoder 방법을 사용하여 인코딩된 대화 기록에 결과 지식을 추가한다.

이를 위해, 대화 컨텍스트에서 관련 검색 쿼리를 생성하는 추가 신경망 모듈로 기존 인코더-디코더 아키텍처를 보강한다. 여기서, 일반적인 접근 방식은 수십억 개의 매개변수가 있는 모델을 사용해야 하지만, 블렌더봇 2.0은 퓨전-인-디코더(Fusion-in-Decoder-논문 다운) 방법을 사용하여 인코딩된 대화 기록에 결과 지식을 추가한다.

마지막으로, 이 인코딩된 지식을 고려하면서 블렌더봇 2.0은 응답을 생성하며, 챗봇의 장기 메모리 저장소에서 꺼내어 거기에 무엇을 추가할지 결정한다. 여기에는 대화 컨텍스트에 기초하여 저장될 메모리를 생성하는 추가 신경 모듈을 사용한다.

결론적으로 대표적인 AI 대화 모델의 현재 동향은 상당한 컴퓨팅 리소스가 필요한 점점 더 큰 모델로 학습에 집중하는 것이다. 또, 이러한 모델은 학습한 내용을 모델 가중치에 저장하려고 한다. 그러나 항상 새롭게 생산되는 데이터와 변화하고 있는 세상의 정보 전체를 담는 것과 인터넷에 펼쳐진 모든 정보는 저장하는 것은 거의 불가능하다.

즉, 이번에 페이스북 AI가 공개한 블렌더봇 2.0은 그 방법 대신에 이전에 학습한 것에 국한하지 않고 지속적으로 접속할 수 있는 장기기억장치(Long-Memory)를 구축하고 실시간 인터넷 검색에 기반 한 세상의 모든 정보와 모든 주제에 대한 정교한 대화 등을 동시에 구사할 수 있는 혁신적인 AI 시스템이자 대화형 인공지능에서 새로운 패러다임으로 평가된다.

또한, 우리는 한동안 개인정보 보호나 정제되지 않은 단어사용, 차별 또는 혐오 발언으로 이슈 한 가운데 있었던 AI대화 모델 ‘이루다’ 사태로 경험했듯이 페이스북 AI는 블렌더봇 2.0에서도 이러한 문제를 사전에 완화하기 위해 대규모 연구를 수행고 안전과 어려운 프롬프트에 대한 견고성이라는 두 가지 새로운 방법을 개발하고 모델에 포함시켰다.

이 방법을 통해 자동화된 분류기로 측정한 공격적 반응을 90% 감소시키는 동시에 실제 사람들과의 대화에서 안전 지수를 74.5% 증가시켰으며, 인간 평가자를 대상으로 한 실험에서 이 위험을 어느 정도 완화시켰다고 밝혔지만 처음 시도되는 모델이라 여기에 더 집중할 것이라고 밝혔다.

또한, 페이스북은 "우리는 인간이 보는 것처럼 의사소통과 이해를 위해 만들어진 에이전트의 대화뿐만 아니라 말할 수 있는 날을 고대한다. 우리는 멀티모달 블렌더봇 다음 단계로는 AI 가상의 조수나 디지털 친구와 같은 애플리케이션에서 발전시킬 수 있다고 생각한다"고 밝혔다. 

또한 "이 블렌더봇 2.0 릴리스와 해당 데이터 세트가 다양한 산업과 비즈니스에 그리고 전 세계 연구자 및 개발자들에게 더 많은 진전을 이루도록 도울 수 있기를 바란다"고 덧붙였다.

한편, 이번 AI 챗봇 '블렌더봇 2.0' 개발 및 연구에 기반이 된 논문은 '인터넷 증강 대화 생성(Internet-Augmented Dialogue Generation-다운)' 과 '금붕어 기억 너머:장기적인 개방형 도메인 대화(Beyond Goldfish Memory: Long-Term Open-Domain Conversation-다운) 두가지이며, 오픈 소스로 공개된 개발된 AI 챗봇 '블렌더봇 2.0' 의 코드 및 데이터 세트는 누구나 이용해  연구 및 개발에 적용(다운)할 수 있다.