피부가 어두운 사람보다 피부가 밝은 사람의 이미지가 훨씬 더 많이 포함된 것과 같은 불균형 데이터 세트를 사용한 머신러닝 모델은 실제 배포에서 불공정 할 심각한 위험이 존재한다. 이것은 문제의 한 부분일 뿐이다.

이미지 인식 작업에 널리 사용되는 머신러닝 모델이 불균형 데이터에 대해 학습할 때 실제로 편향을 인코딩한다는 것은 이미 알려진 사실이다. 모델 내의 이러한 편향은 최신 공정성 향상 기술을 사용하고 균형 잡힌 데이터 세트로 모델을 재학습하는 경우에도 수정되지 않는다.

이에, MIT의 전기공학 및 컴퓨터공학부(EECS) 및 의료공학 및 과학연구소(IMES)의 교수이자 공정한 방식으로 건강을 이해하고 개선하기 위해 머신러닝 모델을 만들고 적용하는 데 중점을 둔 MIT 인공지능연구소(CSAIL) 'Healthy ML' 그룹을 이끌고 있는 마르지에 가세미(Marzyeh Ghassemi) 박사와 토론토대학 등 공동연구팀이 불균형 데이터의 문제를 해결할 수 있는 방법으로 모델 내부에 공정성 기술을 직접 적용하는 솔루션을 개발했다.

이를 통해 연구팀은 인공지능(AI) 모델이 불공정한 데이터 세트로 학습된 경우에도 편향없는 추론을 생성할 수 있었으며, 보다 균형 잡힌 모델로 얼굴 인식 및 동물 종 분류와 같은 다운스트림 작업에 대한 성능을 향상시켰다.

공동연구팀이 개발한 이 머신러닝 기술은 '딥 메트릭 러닝(Deep Metric Learning, DML)'이라는 새로운 기술이다. 이는 특징학습(feature learning) 또는 표현학습(representation learning)의 광범위한 형태이다. 

심층 메트릭 학습(DML)에서 신경망은 유사한 사진을 서로 가까이 매핑하고 서로 다른 이미지를 멀리 매핑하여 객체 간의 유사성을 학습한다. 훈련하는 동안, 이 신경망은 이미지 사이의 유사성 메트릭이 이미지 사이의 거리에 해당하는 '임베딩 공간'에서 이미지를 매핑한다.

예를 들어, 딥 메트릭 학습 모델이 새 종을 분류하는 데 사용되는 경우 임베딩 공간의 한 부분에서 황금 핀치새(golden finches)의 이미지를 함께 매핑하고 임베딩 공간의 다른 부분에서 함께 매핑한다. 일단 학습되면 모델은 이전에 본 적이 없는 새로운 이미지의 유사성을 효과적으로 식별할 수 있다. 보이지 않는 새 종의 이미지를 클러스터링하는 방법을 학습하는 것이다.

이 연구의 수석저자이기도 한 가세미 교수는 “우리는 데이터가 사회의 프로세스 편견을 반영한다는 것을 알고 있습니다. 이것은 우리가 현실에 더 적합한 방법을 설계하는 데 초점을 옮겨야 한다는 것을 의미합니다”라고 밝혔다.

특히, 연구팀은 유사성 메트릭이 불공평할 수 있는 두 가지 방법을 정의했다.

먼저, 얼굴 인식의 예로 같은 사람이 아니더라도 피부가 더 어두운 얼굴을 가진 사람들을 서로 더 가깝게 포함시킬 가능성이 더 높다면, 그 이미지들이 더 가벼운 얼굴을 가진 사람들이었을 때보다 측정 기준이 불공평할 것이다. 둘째, 유사성을 측정하기 위해 학습한 특징이 소수 집단보다 다수 집단에게 더 좋다면 불공평하다는 것이다.

이 연구의 공동저자인 MIT의 인공지능연구소(CSAIL)의 'Healthy ML' 그룹 석사과정인 덜레루드(Dullerud)는 “기업이 이러한 임베딩 모델을 출시한 다음 일부 다운스트림 분류 작업을 위해 이를 미세 조정하는 것은 매우 일반적인 관행이기 때문에 이는 매우 위험한 일입니다"라며, "다운스트림에서 무엇을 하든 임베딩 공간에서 유발된 공정성 문제를 해결할 수는 없습니다”라고 말했다.

이어, 덜레루드는 "사용자가 공정성 문제를 해결하기 위한 최상의 시나리오인 다운스트림 작업을 위해 균형 잡힌 데이터 세트에서 모델을 재교육하더라도 여전히 최소 20%의 성능 격차가 여전히 존재합니다"라며, "이 문제를 해결하는 유일한 방법은 임베딩 공간이 처음부터 공정한지 확인하는 것입니다"라고 강조했다.

PARADE(Partial Attribute Decorrelation)라고 하는 연구팀의 솔루션에는 피부색과 같은 민감한 속성에 대한 별도의 유사성 메트릭을 학습하도록 모델을 훈련시킨 다음, 목표로 하는 유사성 메트릭에서 피부색 유사성 메트릭을 한 변숫값이 양이나 음의 방향으로 변할 때, 이에 대응하는 다른 변숫값이 반대로 음이나 양의 방향으로 변하는 역상관(逆相關, Decorrelation)시키는 작업이 포함된다.

즉, 모델이 서로 다른 사람 얼굴의 유사성 메트릭을 학습하는 경우 피부색 이외의 기능을 사용하여 유사한 얼굴을 서로 가깝게 매핑하고 서로 다른 얼굴을 멀리 떨어져 매핑하는 방법을 학습하는 것이다.

이러한 방식으로 유사성 메트릭에서 민감한 속성의 수에 상관없이 상관 관계를 해제할 수 있다. 그리고 민감한 속성에 대한 유사성 메트릭은 별도의 임베딩 공간에서 학습되기 때문에 훈련 후 폐기되므로 목표로 하는 유사성 메트릭만 모델에 남는다.

이 방법은 사용자가 유사성 메트릭 간의 역상관의 양을 제어할 수 있기 때문에 많은 상황에 적용할 수 있다. 연구팀은 예를 들어, 모델이 유방 조영술 이미지에서 유방암을 진단하는 경우 임상의는 생물학적 성에 대한 정보가 남성보다 여성에게 유방암에 걸릴 가능성이 훨씬 더 높기 때문에 최종 임베딩 공간에 남아 있기를 원할 것이라고 설명했다.

연구팀은 이 딥 메트릭 학습 모델로 얼굴 인식과 조류 종 분류라는 두 가지 작업에 대한 방법을 테스트했으며 학습에 적용된 데이터 세트에 관계없이 임베딩 공간과 다운스트림 작업 모두에서 편향으로 인한 성능 격차를 줄이는 것을 확인했다.

이 연구 결과는 오는 4월 25일부터 29일까지 가상으로 개최되는 글로벌 최고 권위 머신러닝(ML, Machine Learning) 학회 ‘ICLR 2022(International Conference on Learning Representations, 국제 표현 학습 학회)’에서 'IS Fairness Only Metric Deep? Evaluation and Addressing Subgroup Gaps in DML(다운)'란 제목으로 발표될 예정이다.

한편, 이 연구를 주도한 MIT 인공지능연구소(CSAIL) 'Healthy ML' 그룹을 이끌고 있는 마르지에 가세미 교수는 뉴멕시코 주립 대학교(New Mexico State University)에서 컴퓨터 과학 및 전기 공학 학사 학위와 옥스퍼드대학교(Oxford University)에서 생의학 공학 석사 학위를, MIT에서 컴퓨터 과학 박사 학위를 받았다.

그녀의 2021년 주요 논문으로는 '심층 메트릭 학습을 위한 동시 유사성 기반 자체 증류(Simultaneous Similarity-based Self-Distillation for Deep Metric Learning-다운)', '포괄적인 EHR 시계열 사전 교육 벤치마크(A Comprehensive EHR Timeseries Pre-training Benchmark-다운)', '임상 환경에서 도메인 일반화를 위한 경험적 프레임워크(An Empirical Framework for Domain Generalization in Clinical Settings-다운)', 'AI가 말한 대로 수행: 임상 의사 결정 보조 장치의 배포에 대한 민감성(Do as AI say: susceptibility in deployment of clinical decision-aids-다운)', '의료 영상에서 AI를 지능적으로 사용하기 위한 5가지 원칙(Five principles for the intelligent use of AI in medical imaging-다운)' 등이 있다.