자연어 처리(NLP) 분야의 근간이 되는 인공지능(AI) 기반 한국어 언어 모델에 대한 연구가 활발히 이루어지고 있으나, 이들의 사회적 편향을 진단할 수 있는 수단은 여전히 부족한 실태이다.

서울대학교 공과대학(학장 이병호)은 전기정보공학부 윤성로 교수팀이 지난 한글날을 맞아 한국어 언어 모델의 사회적 편향(social bias) 진단을 위한 데이터셋 K-StereoSet을 발표하고 13일, 이 데이터셋 공개 사이트를 오픈했다.

공개된 K-StereoSet은 영어 언어 모델의 사회적 편향을 진단하기 위해 MIT에서 공개한 ‘StereoSet’의 개발셋(development set)을 기반으로 한국적 현실에 맞추어 보완 개발한 것으로 향후 지속적으로 확장될 예정이다.

약 4,000개의 샘플로 구성된 원본 데이터셋은 먼저 네이버 파파고 API를 통해 1차적으로 번역한 후 다수의 연구원이 독립적으로 번역 내용을 검수하였고, 원래의 샘플 양식과 취지를 보존하도록 후처리(post-processing)를 진행하여 구축되었다.

데이터 내 사회적 편향의 분야는 성별, 종교, 직업, 인종 총 네 가지 항목으로 구성되어 있으며 편향성 진단을 위한 샘플 양식은 두 개의 카테고리로 분류되어 있다. 현재, 데이터셋 K-StereoSet은 깃허브(다운)를 통해 공개돼 있다.

송종윤 연구원은 “문장 내 편향 진단 샘플 중 ‘unrelated’ 라벨에 해당하는 문장은 문맥과 전혀 관계없는 단어가 빈칸에 들어가기 때문에 자동 번역 시 원문의 의미를 벗어나기 쉽다"며, "문장 간 편향 진단 샘플의 보기 문장들은 context 문장을 고려하지 않는 경우가 발생하는 등의 특수한 상황들에 유의하며 변환을 진행했다”라고 설명했다.

연구 책임자인 윤성로 교수는 “인공지능 기반의 한국어 언어 모델이 고도화되고 사업화될수록 윤리성 확보 및 편향성 제거를 위한 노력이 핵심적이며, 한글날을 맞이하여 보다 바른 한글을 구사하는 인공지능 기술 개발을 위해 K-StereoSet이 작지만 의미 있는 첫걸음이 되기를 기대한다”라고 전했다.