서울대 공대 컴퓨터공학부 김건희 교수팀과 이 연구실에서 창업한 스타트업 리플에이아이가 최근 세계적 규모의 인공지능(AI) 챌린지 3개 대회에서 우승하고 뛰어난 연구 성과를 인정받았다.

리플에이아이는 온라인 상에서 사용되는 모든 데이터 형식(자연어, 사진, 동영상, 이모티콘 등)의 고객 데이터를 이해하고 반응을 이끌어 내는 인공지능 시스템을 개발하는 회사다.

지난달 14일부터 19일까지 코로나19 펜데믹 영향으로 가상으로 열린 국제 컴퓨터 비전 및 패턴 인식 학회 2020(IEEE Conference on Computer Vision and Pattern Recognition. 이하, CVPR 2020)의 '패션 IQ(Fashion IQ) 챌린지'에서 리플에이아이-서울대 팀(김건희 교수 겸 리플에이아이 대표, 유영재​∙김종석 대학원생, 이승환 리플에이아이 연구원)은 44팀 중 1위를 차지했다. 챌린지는 IBM Research에서 주관한 올해로 두번째 대회이다.

패션(Fashion) IQ는 사용자의 자연어(사람들이 일상적으로 쓰는 언어) 검색에 따라 가장 알맞은 옷을 추천해주는 대회로, 제시된 상품 이미지에서 사용자가 수정사항을 자연어로 입력하면 이를 반영하여 새로운 상품 이미지를 추천하는 정확도를 측정한다. 예를 들어, 흰 드레스 이미지가 주어졌을 때 사용자가 “빨간색으로 허리에 벨트를 추가해”라고 입력하면 이를 반영한 드레스 상품 이미지를 제시하여야 한다.

사용자의 반복적인 자연어 피드백을 잘 반영하는 알고리즘을 고안하는 이 문제는, 대화식 검색/ 추천 시스템을 개발하는 핵심 기술이다. 이 대회의 발표와 시상식은 지난달 19일 CVPR 워크샵을 통해 진행되었다. 아울러 지난해 국제 컴퓨터 비전 학회 ICCV2019에서 개최한 첫번째 대회에서는 준우승을 거둔 바 있다.

또한 김건희 교수 팀(노준혁 박사후연구원, 배원호∙서진환 연구원)은 CVPR2020에서 바이두(Baidu)의 후원으로 개최한 또다른 경진대회 LID(Learning from Imperfect Data) 챌린지에 참여해 주어진 사진의 약지도 물체 위치 검출(Weakly-supervised Object Localization) 부분에서 우승, 약지도 의미 분할(Weakly-supervised Semantic Segmentation) 부분에서 준우승을 거둬 부상으로 2,000달러를 수여 받았다. 약지도학습은 학습 과정에서 레이블의 일부 정보만을 주고도 완전한 정보가 주어진 지도학습 수준의 성능을 내는 것을 목표로 한다.

김건희 교수는 이 대회의 참가 의의에 대해 “특정 문제를 위하여 수십, 수백만 장의 대용량 이미지에 대해 필요한 정보를 자세히 레이블하는 것은 매우 높은 비용을 필요로 하며, 현실적으로 불가능한 경우가 많다. 이로 인해 저비용의 단순한 정보만으로 고차원의 문제를 해결하는 것을 목표로 하는 약지도 학습(weakly supervised learning)에 대한 연구의 중요성은 점점 대두되고 있으며, 영상을 이용해 현실 문제를 다루는, 영상 검색, 자율주행, 불량검사 등의 산업 분야에서 큰 주목을 받고 있다”고 설명했다.