이 플랫폼은 모델 증명, 사용, 윤리 정보에 입각한 평가와 같은 모델에 들어가는 정보를 수집하는 개발자들을 위한 도구 모음이며, 모델에 제안된 용도와 한계에 대한 상세한 개요를 담고 있다

이미지:구글
이미지:구글

구글 AI가 머신러닝 모델의 투명성을 위한 구조화된 프레임워크를 제공하는 모델 카드의 새로운 세트를 만들 수 있는 '모델 카드 툴킷(Model Card Toolkit 이하, MCT)'을 지난 3일(현지시간) 오픈 소스로 공개했다. 이 솔루션은 모델 증명, 사용, 윤리 정보에 입각한 평가와 같은 모델에 들어가는 정보를 수집하는 개발자들을 위한 도구 모음이며, 모델에 제안된 용도와 한계에 대한 상세한 개요를 담고 있다.

구글은 지난 2018 년 연구 논문 '모델 보고용 모델 카드(Model Cards for Model Reporting 다운)'를 통해서 '출시 된 모델에는 성능 특성을 자세히 설명하는 문서가 함께 제공됩니다' 라며, 처음 제안했다. 이 후 머신러닝(ML) 모델의 투명성을 높이기 위한 전반적인 목표의 일환으로 지난해에 모델 카드를 공개적으로 발표하기 시작했으며 오픈 소스 모델 용 모델 카드를 만들기 위해 노력해왔다.

예를 들어, 구글의 미디어파이프(MediaPipe) 팀은 깃허브(GitHub)에 각 오픈 소스 모델(보기)에 대한 모델 카드를 포함했다고 6일(현지시간) 구글 AI 공식 블로그 포스팅을 통해 밝혔다. 

이와 같은 모델 카드를 만들려면 상당한 시간과 노력이 필요하며 데이터와 모델 성능 모두에 대한 자세한 평가와 분석이 필요한 경우가 많다. 대부분의 경우 모델의 성능이 저조한 영역을 기록하면서 여러 데이터 하위 집합에서 모델이 어떻게 수행되는지 추가로 평가해야 한다. 또한 모델 카드 작성자는 모델의 의도 된 용도 및 제한 사항은 물론 잠재적 사용자가 유용하다고 생각할 수 있는 윤리적 고려 사항에 대해 보고하고, 액세스 가능하고 이해할 수 있는 형식으로 정보를 편집하고 제공할 수 있다.

특히, MCT는 프로세스를 간소화하기 위해 개발되었다. MCT를 실제로 사용하는 방법을 보여주기 위해 구글은 UCI Census Income 데이터 세트에서 훈련 된 간단한 분류 모델을 위한 모델 카드를 구축하는 Colab 튜토리얼도 공개했다.

MCT 및 제공된 UI 템플릿을 활용하는 Colab 자습서에서 완성 된 모델 카드의 예
MCT 및 제공된 UI 템플릿을 활용하는 Colab 자습서에서 완성 된 모델 카드의 예

구글은 또한 모델 카드에 포함할 필드를 지정하는 JSON 스키마(다운)를 제공하고 있다. MLMD(ML Metadata)로 저장된 모델 증명 정보를 이용하여 MCT는 데이터의 클래스 분포 및 모델 성능 통계와 같은 관련 정보를 자동으로 JSON에 채운다. 또한 구글은 JSON 스키마의 예를 나타내고 그것을 모델 카드로 시각화하기 위해 모델 카드 데이터 API를 제공하고 있다.

모델 카드 작성자는 최종 모델 카드에 표시할 메트릭과 그래프를 선택할 수 있다. 또 모델의 성능이 전체 성능에서 벗어날 수 있는 영역을 강조하는 메트릭을 포함한다. 구글 MCT는 현재 오픈 소스(다운) 또는 구글 클라우드 플랫폼에서 텐서플로우 확장(TFX 보기)을 사용하는 모든 사람이 이용할 수 있다. 또 구글은 TFX를 통해 머신러닝 모델을 제공하지 않는 사용자는 여전히 JSON 스키마와 HTML 템플릿을 통해 시각화하는 방법을 활용할 수 있다고 밝혔다.

 

저작권자 © 인공지능신문 무단전재 및 재배포 금지