지난 25일부터 29일까지 가상으로 개최된 인공지능(AI) 분야 세계 최고 권위 학회인 '표현학습국제학회(International Conference on Learning Representations. 이하, ICLR 2022)'는 컴퓨터 비전, 음성 인식 및 텍스트 이해에서 로봇 공학, 컴퓨터, 데이터 등에 이르기까지 인공지능, 머신러닝, 학습 등의 최신 기술과 응용 분야의 최신 연구 성과를 공유했다.

ICLR 2022은 올해로 10회째를 맞는 인공지능(AI) 및 데이터 사이언스 분야에서 활용되는 핵심 기술과 관련된 전세계 첨단 연구들이 공유되는 컨퍼런스이다. 이번 학회는 총 3,391건의 연구 논문이 제출돼 1,095건의 논문이 채택됐다.

국내 네이버는 12개 논문이 채택되는 성과를 거두며 국내를 넘어 아시아 탑 클래스의 연구 역량을 보여주었다. 또, 네이버랩스유럽(NLE)과 네이버의 일본 자회사 ‘라인’을 포함하면 네이버는 총 17개의 논문이 채택되는 쾌거를 이루었다.

네이버가 ICLR과 같은 최고 수준의 AI 학회에서 두 자릿수 논문 채택을 기록한 것은 올해가 처음이다. 이는 대학교를 포함한 국내 전체 연구 그룹 중에서도 ICLR에서의 두 자릿수 논문 발표는 카이스트(KAIST)에 이어 역대 두 번째로 꼽힌다.

여기에, 구글(Google)의 인공지능 성과는 단연 특별하다. 이번 ICLR 2022에서 채택된 논문 총 1,095건 중 구글의 새로운 AI 연구 논문이 무려 100건이 채택 및 발표됐다.

우리는 구글하면 검색, 인터넷, 모바일, AI, ICT, 양자 등 수많은 단어를 떠올릴 수 있지만 바로 정의할 수 없지만 구글은 안드로이드, 애플의 iOS 모바일 운영체제(OS)를 놓고, 치열한 경쟁을 벌이면서, 21세기 초부터 전 세계의 스마트폰 시대를 주도했지만 2018년부터 성장이 둔화되면서, 구글은 다른 성장 동력을 찾기 위해 필사의 노력을 기울여 왔다.

그 시점은 기존 CEO 겸 회장이였던 에릭 에머슨 슈미트(Eric Emerson Schmidt)가 알파벳 회장으로 옮겨가면서 2004년 구글에 입사한 인도공과대학교 카라그푸르(Indian Institute of Technology, Kharagpur)와 스탠퍼드대학교 석사 출신의 선다 피차이(Sundar Pichai)가 2015년 10월, 새로운 CEO로 선임되면서 그의 리더십 아래에서 혁신을 도모하고 있는 구글은 전략을 기존의 모바일에서 과감하게 인공지능에 집중했다.

이후 소프트웨어 개발 역량을 토대로 인공지능 기술 중심의 생태계 구축을 위해 AI 기반의 다양한 기술을 빠르게 구현해냈다. 이 인공지능 기술들은 자사의 기존 제품과 서비스에 적용되거나, 새로운 영역에 접목해 구글 혁신의 기반으로 작용했다.

현재, 구글의 사명은 전 세계의 지식과 정보를 정리하여 보편적으로 액세스할 수 있고 유용하게 만드는 것이며, AI를 통해 흥미롭고 새로운 방식으로 이를 수행하고 사용자, 고객 및 전 세계의 문제를 해결하도록 돕는다는 것이다. 즉, 모든 사람이 액세스할 수 있고 모든 사람의 이익을 염두에 두고 텐서플로우(TensorFlow)와 같은 다양한 AI 도구와 시스템을 알리고 오픈소싱하는 것이다

이번 ICLR 2022에서도 전 세계 수십억 명의 사람들에게 영향을 미치는 복잡한 문제를 해결하기 위해 구글에서 수행한 AI 연구와 작업에 대해 설명하고 공개했다. ICLR  2022년 가장 뛰어난 논문으로 선정된 ‘Renyi 차등 개인정보보호를 통한 초매개 변수 조정(Hyperparameter Tuning with Renyi Differential Privacy-다운)’을 포함한 채택 및 발표된 논문은 아래와 같다.

◇MIDI-DDSP: 계층적 모델링을 통한 음악적 연주의 세부 제어(MIDI-DDSP: Detailed Control of Musical Performance via Hierarchical Modeling-다운) ◇비지도 강화학습의 정보 기하학(The Information Geometry of Unsupervised Reinforcement Learning-다운) ◇컨볼루션 신경망의 학습 진전(Learning Strides in Convolutional Neural Networks -다운) 중독 및 백도어링 대조 학습(Poisoning and Backdooring Contrastive Learning-다운) ◇공유된 글로벌 작업공간을 통한 신경 모듈 간 조정(Coordination Among Neural Modules Through a Shared Global Workspace-다운).

◇미세 조정된 언어 모델은 제로샷 학습자(Fine-Tuned Language Models Are Zero-Shot Learners-다운) (see the blog post) ◇큰 언어 모델은 차등적으로 개인 학습자가 될 수 있다.(Large Language Models Can Be Strong Differentially Private Learners-다운) ◇확산 모델의 빠른 샘플링을 위한 점진적 증류(Progressive Distillation for Fast Sampling of Diffusion Models-다운) ◇대규모 사전 훈련의 한계 탐색(Exploring the Limits of Large Scale Pre-training-다운) ◇스카프: 무작위 기능 손상을 이용한 자체 지도 대조 학습(Scarf: Self-Supervised Contrastive Learning Using Random Feature Corruption-다운).

◇비대칭 결정점 프로세스를 위한 확장 가능한 샘플링(Scalable Sampling for Nonsymmetric Determinantal Point Processes-다운) ◇비전 트랜스포머가 사전 훈련이나 강력한 데이터 증강 없이 ResNet을 능가하는 경우(When Vision Transformers Outperform ResNets without Pre-training or Strong Data Augmentations-다운) ◇ViTGAN: 비전 트랜스포머를 사용한 GAN 학습(ViTGAN: Training GANs with Vision Transformers-다운) ◇오프라인 사후 정보 매칭을 위한 일반화된 의사결정 트랜스포머(Generalized Decision Transformer for Offline Hindsight Information Matching-다운).

◇멀티버트:견고성 분석을 위한 BERT 재현(The MultiBERTs: BERT Reproductions for Robustness Analysis-다운) ◇신경 기계 번역을 위한 스케일링 법칙(Scaling Laws for Neural Machine Translation-다운) ◇해석 가능한 감독되지 않은 다양성 노이즈 제거 및 아티팩트 제거(Interpretable Unsupervised Diversity Denoising and Artefact Removal-다운) ◇잠재 상관 기반 다중 뷰 학습 및 자체 감독 이해: 식별 가능성 관점(Understanding Latent Correlation-Based Multiview Learning and Self-Supervision: An Identifiability Perspective-다운) ◇기억하는 트랜스포머(Memorizing Transformers-다운).

◇증류를 통한 변동 감소(Churn Reduction via Distillation-다운) ◇DR3 : 가치 기반 심층 강화 학습은 명시적인 정규화를 필요(DR3: Value-Based Deep Reinforcement Learning Requires Explicit Regularization-다운) ◇이산 공간에서 MCMC를 위한 경로 보조 제안(Path Auxiliary Proposal for MCMC in Discrete Space-다운) ◇통계적 학습과 지각 거리의 관계에 관한 연구(On the Relation Between Statistical Learning and Perceptual Distances-다운) ◇효용 이전의 가능성: 계층적 어포던스 학습 및 사용(Possibility Before Utility: Learning And Using Hierarchical Affordances-다운).

◇MT3: 멀티태스킹 멀티트랙 음악 트랜스크립션(MT3: Multi-Task Multitrack Music Transcription-다운) ◇베이지안 신경망 사전 검토(Bayesian Neural Network Priors Revisited-다운) ◇GradMax: 그래디언트 정보를 사용하여 신경망 향상(GradMax: Growing Neural Networks using Gradient Information-다운) ◇장면 트랜스포머: 다중 에이전트의 미래 궤적을 예측하기 위한 통합 아키텍처(Scene Transformer: A Unified Architecture for Predicting Future Trajectories of Multiple Agents-다운).

◇RL 에이전트의 OOD 일반화를 위한 사전 훈련된 표현의 역할(The Role of Pretrained Representations for the OOD Generalization of RL Agents-다운) ◇자기회귀 확산 모델(Autoregressive Diffusion Models-다운) ◇신경망 선형모드 연결에서 순열 불변성의 역할(The Role of Permutation Invariance in Linear Mode Connectivity of Neural Networks-다운) ◇DISSECT: 개념 탐색을 통한 얽힌 동시 설명(DISSECT: Disentangled Simultaneous Explanations via Concept Traversals-다운).

◇고차원에서의 이방성 랜덤 피쳐 회귀 분석(Anisotropic Random Feature Regression in High Dimensions-다운) ◇시각 및 언어 지식 증류를 통한 개방형 어휘 객체 감지(Open-Vocabulary Object Detection via Vision and Language Knowledge Distillation-다운) ◇흐름 기반 백본으로 에너지 기반 모델 학습(MCMC Should Mix: Learning Energy-Based Model with Flow-Based Backbone-다운) ◇규모가 신경망에서 치명적인 망각에 미치는 영향(Effect of Scale on Catastrophic Forgetting in Neural Networks-다운).

◇대조 학습을 위한 증분 거짓 음성 탐지(Incremental False Negative Detection for Contrastive Learning-다운) ◇변환으로 학습된 신경망의 견고성 평가를 향하여(Towards Evaluating the Robustness of Neural Networks Learned by Transduction-다운) ◇연합 학습에서 일반화는 무엇을 의미하는가?(What Do We Mean by Generalization in Federated Learning?-다운) ◇효율적이고 효과적인 완전 트랜스포머 기반 물체 검출기(ViDT: An Efficient and Effective Fully Transformer-Based Object Detector-다운).

◇CLEVRness 측정: 시각적 추론 모델의 블랙박스 테스트(Measuring CLEVRness: Black-Box Testing of Visual Reasoning Models-다운) ◇보다 빠르고 정확한 모델에 대한 간과된 접근 방식(Wisdom of Committees: An Overlooked Approach To Faster and More Accurate Models-다운) ◇레이블이 지정되지 않은 데이터를 활용하여 분포 외 성능 예측(Leveraging Unlabeled Data to Predict Out-of-Distribution Performance-다운) ◇하드웨어 가속기 설계를 위한 데이터 기반 오프라인 최적화(Data-Driven Offline Optimization for Architecting Hardware Accelerators-다운).

◇주기적으로 변화하는 분포로부터 다중 분기 네트워크의 연합 학습(Diurnal or Nocturnal? Federated Learning of Multi-branch Networks from Periodically Shifting Distributions-다운) ◇미래 통합 정책 그레이디언트(Policy Gradients Incorporating the Future-다운) ◇개별 표현으로 비전 트랜스포머의 견고성 강화(Discrete Representations Strengthen Vision Transformer Robustness-다운) ◇약한 감독을 통한 단순 시각적 언어 모델 사전 훈련(SimVLM: Simple Visual Language Model Pretraining with Weak Supervision-다운).

◇신경 확률적 이중 동적 프로그래밍(Neural Stochastic Dual Dynamic Programming-다운) ◇분류 손실 함수의 다항식 확장 관점(PolyLoss: A Polynomial Expansion Perspective of Classification Loss Functions-다운) ◇시각적 모델 기반 RL에서의 권한 부여를 통한 정보 우선순위 결정(Information Prioritization Through Empowerment in Visual Model-Based RL-다운) ◇가치 기능 공간: 긴 수평 추론을 위한 기술 중심 상태 추상화(Value Function Spaces: Skill-Centric State Abstractions for Long-Horizon Reasoning-다운).

◇재귀적 가치 추정에서 과모수화 이해 및 활용(Understanding and Leveraging Overparameterization in Recursive Value Estimation-다운) ◇효율성의 잘못된 명칭(The Efficiency Misnomer-다운) ◇의사소통에서 인구이질성의 역할에 관한 연구(On the Role of Population Heterogeneity in Emergent Communication-다운) ◇훈련 방법의 중복되는 특징(No One Representation to Rule Them All: Overlapping Features of Training Methods-다운) ◇데이터 중독은 얼굴 인식에서 당신을 구하지 못할 것(Data Poisoning Won’t Save You From Facial Recognition-다운).

◇준지도 학습 및 도메인 적응에 대한 통합 접근 방식(AdaMatch: A Unified Approach to Semi-Supervised Learning and Domain Adaptation-다운) ◇최대 엔트로피 RL은 일부 강력한 RL 문제를 해결(Maximum Entropy RL (Provably) Solves Some Robust RL Problems-다운) ◇교육 없이 비전 트랜스포머의 자동 확장(Auto-scaling Vision Transformers Without Training-다운) ◇경사 하강에 따른 몇 단계 확산 샘플링 최적화(Optimizing Few-Step Diffusion Samplers by Gradient Descent-다운).

◇전이학습을 위한 극단적인 멀티 태스킹 스케일링을 향해(ExT5: Towards Extreme Multi-Task Scaling for Transfer Learning-다운) ◇연결주의자 네트워크에서의 우연한 망각(Fortuitous Forgetting in Connectionist Networks-다운) ◇직교 투영 경사 하강법으로 적대적 예시 탐지 방어 회피(Evading Adversarial Example Detection Defenses with Orthogonal Projected Gradient Descent-다운) ◇에이전트 기능 범위 벤치마킹(Benchmarking the Spectrum of Agent Capabilities-다운) ◇그라데이션 기반 하위 단어 토큰화를 통한 빠른 문자 트랜스포머(Charformer: Fast Character Transformers via Gradient-Based Subword Tokenization-다운).

◇멘션 메모리: 엔티티 멘션 주의를 통해 트랜스포머에 텍스트 지식 통합(Mention Memory: Incorporating Textual Knowledge into Transformers Through Entity Mention Attention-다운) ◇편향된 헤시안 스펙트럼을 가진 2차 목표에 대한 SGD의 최적 학습 속도(Eigencurve: Optimal Learning Rate Schedule for SGD on Quadratic Objectives with Skewed Hessian Spectrums-다운) ◇사전 교육 및 미세 조정 트랜스포머의 통찰력(Scale Efficiently: Insights from Pre-training and Fine-Tuning Transformers-다운).

◇옴니 스케일 CNN: 시계열 분류를 위한 간단하고 효과적인 커널 크기 구성(Omni-Scale CNNs: A Simple and Effective Kernel Size Configuration for Time Series Classification-다운) ◇임베디드 모델 흐름: 모델이 없는 딥러닝과 명시적 확률론적 모델링의 귀납적 편향의 결합(Embedded-Model Flows: Combining the Inductive Biases of Model-Free Deep Learning and Explicit Probabilistic Modeling-다운) ◇알 수 없는 유사 상관 관계를 탐지하는 데 사후 설명이 효과적이지 않을 수 있음(Post Hoc Explanations May be Ineffective for Detecting Unknown Spurious Correlation-다운).

◇시각적 검색, 검색 및 유사성 학습에 대한 공리적 설명(Axiomatic Explanations for Visual Search, Retrieval, and Similarity Learning-다운) ◇객체 감지를 위한 언어 모델링 프레임워크(Pix2seq: A Language Modeling Framework for Object Detection-다운) ◇미러 하강 정책 최적화(Mirror Descent Policy Optimization-다운) ◇확장 가능한 관계 표현을 이용한 코드의 유연한 모델링(CodeTrek: Flexible Modeling of Code Using an Extensible Relational Representation-다운) ◇비디오로부터의 조건부 객체 중심 학습(Conditional Object-Centric Learning From Video-다운).

◇딥러닝 모델의 훈련 불안정성에 대한 손실 곡률 관점(A Loss Curvature Perspective on Training Instabilities of Deep Learning Models-다운) ◇자율 강화 학습: 형식주의와 벤치마킹(Autonomous Reinforcement Learning: Formalism and Benchmarking-다운) ◇차선의 데이터를 사용한 최적의 모방 학습(TRAIL: Near-Optimal Imitation Learning with Suboptimal Data-다운) ◇부드러운 알고리즘의 적성을 이용한 미니맥스 최적화(Minimax Optimization With Smooth Algorithmic Adversaries-다운) ◇특징 대응을 증류하여 감독되지 않은 의미론적 분할(Unsupervised Semantic Segmentation by Distilling Feature Correspondences-다운).

◇인피니티GAN: 무한 픽셀 이미지 합성을 향하여(InfinityGAN: Towards Infinite-Pixel Image Synthesis-다운) ◇셔플 개인 확률적 볼록 최적화(Shuffle Private Stochastic Convex Optimization-다운) ◇하이브리드 랜덤 기능(Hybrid Random Features-다운) ◇개선된 VQGAN을 이용한 벡터 양자화 이미지 모델링(Vector-Quantized Image Modeling With Improved VQGAN-다운) ◇회귀분석과 예측에 대한 최대 가능성 추정의 이점(On the Benefits of Maximum Likelihood Estimation for Regression and Forecasting-다운).

◇대리 간격 최소화로 선명도 인식 교육 향상(Surrogate Gap Minimization Improves Sharpness-Aware Training-다운) ◇역경험 재생을 통한 온라인 타겟 Q-러닝: 선형 MDP에 대한 최적의 정책을 효율적으로 찾기(Online Target Q-learning With Reverse Experience Replay: Efficiently Finding the Optimal Policy for Linear MDPs-다운) ◇크로스빔: 상향식 프로그램 합성에서 검색 학습(CrossBeam: Learning to Search in Bottom-Up Program Synthesis-다운).