자연 언어 처리(NLP)의 최첨단 딥러닝 모델인 '버트(BERT)'를 자사의 검색 서비스에 적용하는 것으로

자연 언어 처리(NLP) AI의 최첨단 딥러닝 모델인 '버트(BERT)'를 자사의 검색 서비스에 적용하는 것으로...(사진:본지DB)

구글이 25일, 검색서비스에 문장의 의미를 이해하는 인공지능(AI) 기술을 도입한다고 발표했다.

이 회사는 지금까지 입력된 키워드를 바탕으로 검색하고 있었지만, 사용자가 단어를 합친 문장을 입력하면 AI가 문장의 의미를 이해하고 요구하는 정보를 검색 순위 상위에 표시할 수 있게 된다고 설명한다. 처음에는 영어에 한정되지만, 장기적으로 여러 언어로 확대한다.

구글이 2018년에 발표한 자연 언어 처리(NLP)의 최첨단 딥러닝 모델인 '버트(BERT)'를 자사의 검색 서비스에 적용하는 것으로 인터넷에 있는 대량의 데이터를 이용해 AI가 자연언어를 효율적으로 학습하고 검색 결과의 일부를 강조해 표시하는 기능으로 사용하기 시작했지만, 검색 결과의 랭킹 표시 방식에도 적용하는 것으로 (참고: 본지 2019,01,03. '인공지능(AI) 언어모델 ‘BERT(버트)'는 무엇인가?') 이 기술을 사용하면 누구나 자신의 최신 질문 응답 시스템을 학습할 수 있다. 

즉, 단어들을 한 문장에 있는 다른 단어들과 관련하여 일대일로 처리하기 보다는 한 문장에 처리하는 모델이다. 따라서 BERT 모델은 이전과 이후에 나오는 단어를 살펴봄으로써 단어의 전체 맥락을 고려할 수 있다. 특히 검색 질의(質疑)의 의도를 이해하는 데 유용하다.

구글은 AI 스피커 등에 음성인식 AI를 채용하고 있지만, 사람 목소리에서 AI로 단어를 추출해 검색해 왔다. BERT를 사용하는 새로운 검색은 예를 들어 “약국에서 누군가를 위해 약을 가져올 수 있는가?”를 입력하면 문장의 내용에서 친구나 가족이 환자 대신에 처방전이 필요한 약을 수취할 수 있는지 여부를 설명하는 페이지를 최상위에 표시한다. 키워드 검색에서는 처방받는 방법을 소개하는 페이지를 표시한다.

다만, “네브래스카 남쪽 주는?”이라는 영문의 질문 문장에 대해서, 현재의 BERT 기술은 “캔자스 주”가 아니라 “사우스 네브래스카”라고 플로리다 주에 있는 도시의 정보를 최상위에 표시하는 문제가 있다. 구글은 실제 검색서비스로 운영을 계속하면서 자연언어 처리기술을 개량해 나갈 방침이다.

구글 검색서비스는 하루 이용 건수가 수십억 건에 이르는데, 이 중 15%의 질문 문장은 완전히 새로운 것이라고 한다. 이러한 예측이 어려운 질문 문장에 적절한 해답을 찾기 위해서는 AI 기술이 유효하다고 하고 있다. 구글에서 약 15년간 검색 서비스 개발에 힘써 온 펀쥬 나야크 연구원은 BERT의 활용에 대해 “검색의 역사에서 가장 큰 발전의 하나”고 의미를 강조했다.

저작권자 © 인공지능신문 무단전재 및 재배포 금지