인공지능 시대로의 진입이 현실로 다가오고 있다. 그 가운데 AI 언어 모델은 국내외 AI 커뮤니티를 넘어 단연, 최고의 이슈이다.

AI언어 모델은 텍스트를 인지하고, 그 의미를 이해할 뿐만 아니라 문서 등 방대한 텍스트가 포함된 데이터로부터 정보를 추출하고, 분류하며, 나아가 직접 텍스트를 생성하는 기술로, 자연어처리(Natural Language Processin. 이하, NLP) 기술로 대표된다. 이 기술은 자연어 분석, 자연어 이해, 자연어 생성 등의 다양한 기술이 사용된다.

현지시간, 7일부터 11일까지 아랍에미리트 아부다비에서 진행된 인공지능(AI) NLP분야 세계 최고 권위의 국제학회 ‘EMNLP 2022(Empirical Methods in Natural Language Processing)'에서 구글은 51개의 연구 및 개발 논문을 발표하고 10개의 다양한 워크샵과 튜토리얼에 적극적으로 참여했다.

우리는 구글하면 검색, 인터넷, 모바일, AI, ICT, 양자 등 수많은 단어를 떠올릴 수 있지만 바로 정의할 수 없지만 구글은 전 세계의 지식과 정보를 정리하여 보편적으로 액세스할 수 있고 유용하게 만드는 것이며, 윤리적인 AI를 통해 흥미롭고 새로운 방식으로 이를 수행하고 사용자, 고객 및 전 세계의 문제를 해결하도록 돕는다는 것이다.

즉, 모든 사람이 쉽게 접근할 수 있고 모든 사람의 이익을 염두에 두고 텐서플로우(TensorFlow)와 같은 다양한 AI 도구와 시스템을 알리고 오픈소싱하는 것이다

이번 ‘EMNLP 2022'에서도 구글은 전 세계 수십억 명의 사람들에게 영향을 미치는 복잡한 문제를 해결하기 위해 구글에서 수행한 AI 및 컴퓨터가 인간의 언어를 이해하는 데 도움이 되는 NLP 연구와 작업에 대해 설명하고 공개했다. 발표된 논문은 아래와 같다.

▷시퀀스 태깅을 Seq2Seq 작업으로 변환(Transforming Sequence Tagging Into A Seq2Seq Task-다운) ▷생성된 텍스트에 대한 참조 없는 평가의 한계(On the Limitations of Reference-Free Evaluations of Generated Text-다운) ▷청크 기반의 가장 근접한 기계 번역(Chunk-Based Nearest Neighbor Machine Translation-다운) ▷시맨틱 파싱에서 구성 일반화를 위한 모델 척도의 영향 평가(Evaluating the Impact of Model Scale for Compositional Generalization in Semantic Parsing-다운) ▷MasakhaNER 2.0 : 명명된 객체 인식을 위한 아프리카 중심의 전이학습(MasakhaNER 2.0: Africa-centric Transfer Learning for Named Entity Recognition-다운),

▶T-STAR: AMR 그래프를 중간 표현으로 사용한 스타일 전송(T-STAR: Truthful Style Transfer Using AMR Graph as Intermediate Representation-다운) ▶세계문학의 병렬문단을 이용한 문서 수준의 문학적 기계번역(Exploring Document-Level Literary Machine Translation with Parallel Paragraphs from World Literature-다운) ▶ASQA : Factoid 질문은 긴 형식의 답변을 만난다(ASQA: Factoid Questions Meet Long-Form Answers-다운) ▶행렬 분해를 사용한 교차 인코더 모델에 대한 효율적인 가장 근접한 검색(Efficient Nearest Neighbor Search for Cross-Encoder Models using Matrix Factorization-다운)▶CPL: 시각 및 언어 모델을 위한 반사실 프롬프트 학습(CPL: Counterfactual Prompt Learning for Vision and Language Models-다운),

▷포스트 에디팅과 언어 모델 입력을 통한 추상적 요약의 다양한 사실 오류 수정(Correcting Diverse Factual Errors in Abstractive Summarization via Post-Editing and Language Model Infilling-다운), ▷인공지능을 위한 대화 도전으로서의 던전과 드래곤(Dungeons and Dragons as a Dialog Challenge for AI-다운), ▷질의 응답을 위한 이중 인코더 아키텍처 탐색(Exploring Dual Encoder Architectures for Question Answering-다운), ▷RED-ACE: 신뢰 임베딩을 사용한 ASR에 대한 강력한 오류 감지(RED-ACE: Robust Error Detection for ASR using Confidence Embeddings-다운) ▷제로샷 질문 생성을 통한 경로 검색 개선(Improving Passage Retrieval with Zero-Shot Question Generation-다운),

▶MuRAG: 이미지 및 텍스트에 대한 개방형 질문 답변을 위한 다중 모드 검색-증강 생성기(MuRAG: Multimodal Retrieval-Augmented Generator for Open Question Answering over Images and Text-다운) ▶쿼리 제안을 위한 뉴럴 리트리버의 잠재 공간 디코딩(Decoding a Neural Retriever’s Latent Space for Query Suggestion-다운) ▶Hyper-X: 멀티태스킹 다국어 전송을 위한 통합 하이퍼네트워크(Hyper-X: A Unified Hypernetwork for Multi-Task Multilingual Transfer-다운) ▶다른 관점 제공: 다자간 토론에서 논쟁의 신념 정렬 모델링(Offer a Different Perspective: Modeling the Belief Alignment of Arguments in Multi-party Debates) ▶메타 학습 빠른 가중치 언어 모델(Meta-Learning Fast Weight Language Models-다운),

▷대형 이중 인코더는 일반화 가능한 리트리버(Large Dual Encoders Are Generalizable Retrievers-다운) ▷CONQRR: 강화 학습을 통한 검색을 위한 대화형 쿼리 재작성(CONQRR: Conversational Query Rewriting for Retrieval with Reinforcement Learning-다운) ▷제로샷 교차 언어 생성에서 치명적인 망각의 극복(Overcoming Catastrophic Forgetting in Zero-Shot Cross-Lingual Generation-다운) ▷RankGen: 대규모 순위 모델로 텍스트 생성 개선(RANKGEN: Improving Text Generation with Large Ranking Models-다운) ▷텍스트-텍스트 언어 모델을 통한 체계적 지식 기반 통합 및 멀티태스킹(UNIFIEDSKG: Unifying and Multi-Tasking Structured Knowledge Grounding with Text-to-Text Language Models-다운),

▶M2D2: 대규모 다중 도메인 언어 모델링 데이터 세트(M2D2: A Massively Multi-Domain Language Modeling Dataset-다운) ▶토마이토, 토마토. 질의 응답 평가를 위한 토큰 수준의 응답 동등성을 넘어(Tomayto, Tomahto. Beyond Token-level Answer Equivalence for Question Answering Evaluation-다운) ▶COCOA: 제어 가능한 코드 전환 세대를 위한 인코더-디코더 모델(COCOA: An Encoder-Decoder Model for Controllable Code-switched Generation-다운) ▶크로스모달-3600: 대규모 다국어 멀티모달 평가 데이터 세트(Crossmodal-3600: A Massively Multilingual Multimodal Evaluation Dataset-다운) ▶텍스트 분류를 위한 입력 돌출 방법의 충실도를 평가하기 위한 프로토콜(“Will You Find These Shortcuts?” A Protocol for Evaluating the Faithfulness of Input Salience Methods for Text Classification-다운)

▷다국어 모델에 대한 압축의 흥미로운 속성(Intriguing Properties of Compression on Multilingual Models-다운) ▷FETA: 오픈 도메인 대화에서 몇 가지 샘플 작업 전송을 위한 벤치마크(FETA: A Benchmark for Few-Sample Task Transfer in Open-Domain Dialogue-다운) ▷SHARE: 계층적 보조 레시피 편집 시스템(SHARE: a System for Hierarchical Assistive Recipe Editing-다운) ▷접근성을 위한 이미지 설명의 컨텍스트 문제: 참조 없는 평가 메트릭에 대한 과제(Context Matters for Image Descriptions for Accessibility: Challenges for Referenceless Evaluation Metrics-다운) ▷대규모 언어 모델을 위한 선택적 차등 프라이버시(Just Fine-tune Twice: Selective Differential Privacy for Large Language Models-다운),

▶데이터 리캐스팅을 활용하여 테이블 추론 향상(Leveraging Data Recasting to Enhance Tabular Reasoning-다운) ▶QUILL: 검색 확대 및 다단계 증류를 사용하는 대규모 언어 모델의 쿼리 의도(QUILL: Query Intent with Large Language Models using Retrieval Augmentation and Multi-stage Distillation-다운) ▶코드 혼합 번역을 위한 다국어 모델(Adapting Multilingual Models for Code-Mixed Translation-다운) ▶TABT5를 사용한 테이블-투-텍스트 생성 및 사전 교육(Table-To-Text generation and pre-training with TABT5-다운) ▶긴 문서 및 클러스터에 대한 추론을 위해 문장 쌍 NLI 모델 확장(Stretching Sentence-Pair NLI Models to Reason Over Long Documents and Clusters-다운), 

▷지식 기반 대화 상태 추적(Knowledge-grounded Dialog State Tracking-다운) ▷MoE와 믹싱을 결합하여 보다 효율적인 버트 구축(Sparse Mixers: Combining MoE and Mixing to build a more efficient BERT-다운) ▷EdiT5: T5 웜 스타트를 사용한 반자동회귀 텍스트 편집(EdiT5: Semi-Autoregressive Text Editing with T5 Warm-Start-다운) ▷언어모델을 이용한 자기회귀적 구조예측(Autoregressive Structured Prediction with Language Models-다운) ▷문서에 충실할까 아니면 세상에 충실할까? 추상적 요약에서 개체 연결 지식을 통한 환각 완화(Faithful to the Document or to the World? Mitigating Hallucinations via Entity-linked Knowledge in Abstractive Summarization-다운), 

▶텍스트 분류기의 모델 견고성 향상을 위한 앙상블 방법 연구(Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers-다운) ▶계층 인식 주제 구문 생성을 통한 주제 분류 확장(Topic Taxonomy Expansion via Hierarchy-Aware Topic Phrase Generation-다운) ▶코드 구문 이해를 위한 벤치마킹 언어 모델(Benchmarking Language Models for Code Syntax Understanding-다운) ▶대규모 차등 프라이빗 버트(Large-Scale Differentially Private BERT-다운) ▶언어 모델에서 지식 추적을 위해 학습 데이터로 돌아가기(Towards Tracing Factual Knowledge in Language Models Back to the Training Data-다운) ▶단기 언어적 영향에서 장기 인용 예측(Predicting Long-Term Citations from Short-Term Linguistic Influence-다운).

한편, 이번 ‘EMNLP 2022'는 앨런인공지능연구소(Allen Institute for AI) 연구원이자 워싱턴대학교(University of Washington) 컴퓨터과학·공학부(Computer Science & Engineering) 노아 스미스(Noah Smith) 교수가 총회장으로 나섰다.

특히, 한국인으로 NLP 분야 전문가인 텍사스 오스틴대학교(University of Austin, Texas) 최은솔 교수가 홍보위원장 맡아 그 역량을 발휘했다. 최근에는 구조화되지 않은 텍스트와 지식 베이스에서 정보를 추출하고 쿼리하는 데 연구를 집중하고 있다.

최 교수는 코넬대학교(Cornell University) 컴퓨터 과학 및 수학 학사(2012년)와 워싱턴대학교 컴퓨터공학과 박사(2019년)로 현재, 구글 AI 객원 연구원으로, 텍사스 오스틴대학교(University of Austin, Texas) 컴퓨터과학 교수로 재임 중이며, 그녀는 페이스북 리서치 펠로쉽(Facebook Research Fellowship), Google 교수진 연구상(Google faculty research award) 및 EMNLP 2021에서 우수 논문상을 수상했다.