강력한 인공지능(AI) 머신러닝 모델은 의료 이미지에서 질병을 식별하거나 자율 주행 차량의 도로 장애물을 감지하는 것과 같은 다양한 의사 결정을 수행하는 등 더 핵심적인 업무로 어려운 문제를 해결하는 데 사용이 확대되고 있다.

그러나 머신러닝 모델은 이 과정에서 오류 원인을 즉각적으로 알지 못하고 어떻게 이런 결정을 했는지 사용자조차 파악하지 못하면서 고위험 환경에서는 AI에 의존할 수 없다는 인식 또한 커지며 그 신뢰성이 떨어진다는 평가로 핵심적인 비즈니스에 적용에 어려움이 따른다. 무엇보다도 사용자는 모델의 예측을 신뢰할 수 있는가를 아는 시점이 매우 중요하다.

여기에, ‘불확실성 정량화(Uncertainty Quantification)’는 모델의 신뢰성을 향상시키는 도구 중 하나이며, 모델은 예측이 정확하다는 신뢰 수준을 나타내는 예측과 함께 점수를 생성한다. 불확실성 정량화는 유용할 수 있지만, 기존 방법은 일반적으로 전체 모델에 해당 능력을 부여하기 위해 전체 모델을 재학습해야 한다.

훈련은 모델이 과제를 학습할 수 있도록 수백만 개의 예를 보여주는 것을 포함한다. 그런 다음 재교육은 수백만 개의 새로운 데이터 입력을 필요로 하며, 이는 비용이 많이 들고 원하는 결과를 얻기 어려울 수 있으며, 또한 엄청난 양의 컴퓨팅 리소스를 사용한다.

이에, MIT와 MIT-IBM 왓슨 인공지능 연구소(Watson AI Lab)의 공동 연구팀은 이제 모델이 기존 방법보다 훨씬 적은 컴퓨팅 리소스를 사용하고 추가 데이터 없이 보다 효과적인 불확실성 정량화를 수행할 수 있는 기술을 개발했다. 이를 통해 사용자가 모델을 재훈련하거나 수정할 필요가 없이 가시적인 효과를 제공한다.

또한 이 기법에는 원래 머신러닝 모델이 불확실성을 추정하는 데 도움을 주는 더 간단한 보조 모델을 만드는 것이 포함된다. 이 작은 모델은 보다 다양한 유형의 불확실성을 식별하도록 설계되어 연구자가 부정확한 예측의 근본 원인을 심층적으로 분석하는 데 도움이 될 수 있다.

MIT 전기 공학 및 컴퓨터 과학 대학원생이자 이 기법에 관한 연구 논문의 주 저자인 마오하오 셴(Maohao Shen)은 "불확실성 정량화는 머신러닝 모델 개발자와 사용자 모두에게 필수적입니다. 개발자는 불확실성 측정을 활용하여 보다 강력한 모델을 개발할 수 있고, 사용자는 실제 모델을 배포할 때 신뢰와 안정성을 한 층 더 높일 수 있습니다"라며, "우리의 연구는 불확실성 정량화를 위한 보다 유연하고 실용적인 해결책이 될 수 있습니다."라고 말했다.

불확실성 정량화

불확실성 정량화에서 머신러닝 모델은 예측의 정확도에 대한 신뢰도를 반영하기 위해 각 출력에 대해 수치 점수를 생성한다. 새로운 모델을 처음부터 구축하거나 기존 모델을 재학습하여 불확실성 정량화를 통합하려면 일반적으로 많은 양의 데이터와 비용이 많이 드는 계산이 필요하며, 이는 종종 비현실적이다. 또한 기존 방법은 때때로 모델 예측의 품질을 저하시키는 의도치 않은 결과를 초래하기도 한다.

따라서 MIT와 MIT-IBM 왓슨 AI 랩 연구원들은 "사전 학습된 모델이 주어졌을 때, 어떻게 하면 이 모델이 효과적인 불확실성 정량화를 수행할 수 있을까?" 란 문제에 집중하고 메타모델이라고 하는 더 작고 간단한 모델을 만들어 사전 학습된 더 큰 모델에 연결하고 더 큰 모델이 이미 학습한 기능을 사용하여 불확실성 정량화 평가에 도움을 줌으로써 이 문제를 해결했다.

즉, 메타모델은 사전 학습된 모든 모델에 적용할 수 있다. 기본 모델에 대해 훨씬 더 많은 정보를 얻을 수 있기 때문에 모델 내부에 액세스하는 것이 더 좋지만 최종 결과만 있어도 작동하며, 신뢰도 점수를 예측할 수 있는 것이다.

연구팀은 데이터 불확실성과 모델 불확실성이라는 두 가지 유형의 불확실성을 모두 포함하는 기법을 사용하여 불확실성 정량화 결과를 생성하도록 메타모델을 설계했다. 데이터 불확실성은 손상된 데이터나 부정확한 레이블로 인해 발생하며, 데이터 집합을 수정하거나 새로운 데이터를 수집해야만 줄일 수 있다.

모델 불확실성의 경우, 모델이 새로 관찰된 데이터를 설명하는 방법을 모르기 때문에 잘못된 예측을 할 수 있으며, 이는 대부분 유사한 학습 예제를 충분히 보지 못했기 때문이다. 이 문제는 모델을 배포할 때 특히 어렵지만 흔히 발생하는 문제로 실제 환경에서는 학습 데이터 세트와 다른 데이터를 자주 접하게 된다.

이 연구를 주도한 MIT-IBM 왓슨 AI 연구소의 그레고리 워넬(Gregory Wornell) 교수는 "새로운 환경에서 모델을 사용할 때 의사 결정의 신뢰성에 변화가 생겼나요? 새로운 체제에서 모델이 제대로 작동하는지 또는 이 새로운 환경에 맞는 학습 데이터를 수집해야 하는지 확신을 가질 수 있는 방법이 필요합니다."라고 말했다.

정량화 검증

모델이 불확실성 정량화 점수를 생성한 후에도 사용자는 점수 자체가 정확하다는 확신이 필요하다. 연구팀은 종종 원래의 학습 데이터에서 더 작은 데이터 집합을 생성한 다음 홀드 아웃된 데이터에 대해 모델을 테스트하여 정확성을 검증한다. 하지만 이 기법은 모델이 예측 정확도는 높지만 여전히 과신할 수 있기 때문에 불확실성 정량화를 측정하는 데는 효과적이지 않다.

연구팀은 검증 세트의 데이터에 노이즈를 추가하여 새로운 검증 기법을 개발했는데, 이 노이즈 데이터는 모델 불확실성을 유발할 수 있는 분포 외 데이터와 유사하다. 이 노이즈 데이터 세트를 사용하여 불확실성 정량화를 평가했다.

또한, 메타 모델이 분포 외 탐지 및 오분류 탐지를 비롯한 다양한 다운스트림 작업에서 다양한 유형의 불확실성을 얼마나 잘 포착할 수 있는지 확인하여 접근 방식을 테스트했다. 이 방법은 각 다운스트림 작업에서 모든 기준선을 능가했을 뿐만 아니라 이러한 결과를 달성하는 데 필요한 교육 시간도 더 짧았다.

결론적으로 연구팀의 이 기술은 더 많은 머신러닝 모델이 불확실성 정량화를 효과적으로 수행할 수 있도록 지원하여 궁극적으로 사용자가 예측을 신뢰할 수 있는 시점에 대해 더 나은 결정을 내릴 수 있도록 도울 수 있다. 연구팀은 앞으로 기존 신경망과는 다른 구조를 가진 대규모 언어 모델(LLM)과 같은 새로운 종류의 모델에 이 기술을 적용하고 싶다고 밝혔다.

한편, 셴을 비롯한 플로리다 대학 조교수 유헝 부(Yuheng Bu), MIT-IBM 왓슨 AI 연구소의 연구원인 프라산나 사티게리(Prasanna Sattigeri), 수미야 고쉬(Soumya Ghosh), 수브로 다스(Subhro Das), 수석 저자로 MIT신호, 정보 및 알고리즘 랩을 이끌고 있는 MIT-IBM 왓슨 AI 연구소의 그레고리 워넬(Gregory Wornell) 교수가 공동으로 참여했다.

이 연구는 지난 7일부터 14일까지 미국 워싱턴 DC에서 개최된 세계 최고 인공지능(AI) 권위의 미인공지능학회(Association for the Advancement of Artificial Intelligence. AAAI) 2023’에서 '디리클레 메타 모델을 사용한 사후 불확실성 학습(Post-hoc Uncertainty Learning using a Dirichlet Meta-Model-다운)'란 제목으로 발표됐다.