MIT 인공지능연구소 연구팀이 개발한 ‘심층 증거 회귀(Deep Evidential Regression)’라고 불리는 새로운 네트워크는 그 과정을 가속화하고 더 안전한 결과를 가져올 수 있다. 특히, 위조된 데이터에 대한 경보를 울리는 이 모델의 기능은 딥페이크 시대에 점점 더 우려되는 적대적 공격을 탐지하고 저지하는 데 도움이 될 수...

MIT 인공지능연구소 연구팀이 개발한 ‘심층 증거 회귀(Deep Evidential Regression)’라고 불리는 새로운 네트워크는 그 과정을 가속화하고 더 안전한 결과를 가져올 수 있다(사진:MIT)

인공지능 시스템이 자율주행이나 의료진단과 같이 인간의 건강과 안전에 필수적인 의사 결정을 알리는 데 이용되는 사례가 늘고 있다. 이러한 네트워크는 의사결정을 돕기 위해 크고 복잡한 데이터셋의 패턴을 잘 인식한다. 하지만 "그들의 결정이 맞는지, 그리고 그 결정 과정은 어떻게 알 수 있을까?"라는 우려는 항상 잠재돼 있다.

신경망이 데이터를 보다 빠른 방법으로 분석하고 예측뿐 아니라 이용 가능한 데이터의 품질을 바탕으로 모델의 신뢰도까지 산출하고 있다. 딥러닝은 이미 현실 세계에 배치되고 있다. 그 진전은 생명을 구할 수도 있다. 그러나 네트워크의 신뢰성 수준은 "교차로로 진행하는 것이 모두 명확하다"와 "아마도 분명하니 만일의 경우를 대비해서 정지하라"고 결정하는 자율주행차 에서 의사 결정의 차이일 수 있다.

이처럼 신경망에 대한 불확실성 추정의 현재 방법은 계산적으로 비싸고 분할 초 결정에 비해 상대적으로 느린 경향이 있다.

이 가운데 MIT 컴퓨터과학인공지능연구소(CSAIL)의 다니엘라 러스(Daniela Rus) 교수 연구팀이 개발한 ‘심층 증거 회귀(Deep Evidential Regression)’라고 불리는 새로운 네트워크는 그 과정을 가속화하고 더 안전한 결과를 가져올 수 있다고 20일(현지시간) 밝혔다. 이 연구팀의 박사과정 연구원 알렉산더 아미니(Alexander Amini)는 "우리는 고성능 AI 모델을 구현할 수 있을 뿐만 아니라 언제, 그러한 모델을 믿을 수 없는지를 이해할 수 있는 능력이 필요하다"고 말했다.

러스 교수는 "이 모델은 중요하고 광범위하게 적용할 수 있다. 학습된 모델에 의존하는 제품을 평가하는 데 사용할 수 있으며 학습된 모델의 불확실성을 추정함으로써 우리는 모델로부터 얼마나 많은 오차를 예상해야 하는지, 그리고 어떤 데이터가 모델을 개선할 수 있는지를 알게 된다"라고 말했다.

이 연구 결과는 다음 달 6일부터 12일까지 캐나다 밴쿠버에서 가상으로 개최되는 세계 최고 권위의 인공지능 학회 '신경정보처리시스템학회 (NeurIPS 2020)'에서 발표할 예정이다.

신경망은 거대할 수 있고 때로는 수십억 개의 매개 변수가 넘쳐날 수도 있다. 그래서 자신감 수준은 말할 것도 없고 단지, 답을 얻기 위해 무거운 계산적 능력이 가중될 수 있다. 신경망의 불확실성 분석은 새로운 것이 아니다. 그러나 베이지안 딥러닝에서 비롯된 이전의 접근법은 그 자신감을 이해하기 위해 여러 번 신경망을 실행하거나 샘플링 하는 것에 의존해왔다.

연구팀은 신경망의 단 한 번의 실행만으로 불확실성을 추정할 수 있는 방법을 개발한 것이다. 그들은 대량 출력으로 네트워크를 설계하여 결정뿐만 아니라 그 결정을 지지하는 증거를 포착하는 새로운 확률적 분포를 만들어냈다. 증거 분포라고 불리는 이러한 분포는 모델의 예측에 대한 신뢰를 직접적으로 포착한다.

여기에는 모델의 최종 결정뿐만 아니라 기본 입력 데이터에 존재하는 불확실성이 포함된다. 이러한 구별은 신경망 자체를 수정함으로써 불확실성을 줄일 수 있는지, 또는 입력 데이터가 그저 잡음만 나는지를 식별할 수 있다.

이 실험에 대한 접근 방식을 설명하기 위해, 연구팀은 도전적인 컴퓨터 비전 과제로 시작했다. 그들은 단안 컬러 이미지를 분석하고 깊이 값(각 픽셀에 대한 카메라 렌즈와의 거리)을 추정하기 위해 신경망을 훈련시켰다. 자율주행차는 보행자나 다른 차량과의 근접성을 추정하기 위해 유사한 계산을 사용할 수 있는데, 이는 간단한 작업이 아니다.

그들의 네트워크의 성능은 이전의 최신 모델과 동등했지만 자체 불확실성을 추정할 수 있는 능력도 얻었다. 연구팀이 기대했던 대로 네트워크는 잘못된 깊이를 예측하는 픽셀에 대해 높은 불확실성을 예측했다. 아미니 연구원은 "네트워크가 만드는 오류에 매우 교정된 것"이라며, "이는 새로운 불확실성 추정기의 품질을 판단하는 데 가장 중요한 것 중 하나라고 생각합니다"라고 말했다.

보정을 강조하기 위해, 이 팀은 또한 네트워크가 훈련 중에 결코 경험하지 못한 완전히 새로운 유형의 이미지와 같은 '배포되지 않는' 데이터에 대해 더 높은 불확실성을 예상했다는 것을 보여주었다고 한다. 학습 중에는 전혀볼 수 없었던 완전히 새로운 유형의 이미지인 것이다.

실내 홈 장면에서 네트워크를 훈련시킨 후, 일련의 야외 운전 장면을 제공했다. 네트워크는 이 새로운 야외 장면에 대한 반응이 불확실하다고 지속적으로 경고했다. 이 테스트는 사용자가 결정을 전적으로 신뢰해서는 안되는 시기를 표시하는 네트워크의 기능을 강조했다. 이러한 경우를 아미니는 "이것이 의료 애플리케이션 인 경우 모델이 제공하는 진단을 신뢰하지 않고 대신 2차 의견을 구할 수 있는 것입니다" 라고 말했다.

이 네트워크는 심지어 언제 사진이 조작되었는지도 알고 있었고, 잠재적으로 데이터 조작 공격에 대해 대비할 수 있다. 또, 다른 실험에서 연구팀은 네트워크에 제공한 이미지 배치에서 적대적 잡음 수준을 높였다. 그 효과는 미묘하여 인간의 눈으로는 거의 인식 할 수 없었지만 네트워크는 이러한 이미지를 스니핑(Sniffing)하여 출력에 높은 수준의 불확실성을 표시했다.

특히, 위조된 데이터에 대한 경보를 울리는 이 기능은 딥페이크 시대에 점점 더 우려되는 적대적 공격을 탐지하고 저지하는 데 도움이 될 수 있다.

연구팀이 개발한 이 심층 증거 회귀(Deep Evidential Regression)는 로보틱스 등 실제 제어 시스템에 중요한 불확실성 추정 분야를 발전시키는 단순하고 우아한 접근법이라며, 이 연구에 관여하지 않은 딥마인드의 인공지능 연구원인 라이아 해드셀(Raia Hadsell)은 "이것은 샘플링이나 앙상블과 같은 다른 접근방법의 지저분한 측면들 중 일부를 피하는 기발한 방법으로 이루어지며, 이것은 우아할 뿐만 아니라 계산적으로 더 효율적이게 만든다“라고 말했다.

결론적으로 '심층 증거 회귀' 모델은 AI 의사결정에서 불확실성을 더 빨리 추정해 더 안전한 의사결정 돕는다. 아미니는 "이러한 신경망 모델들이 연구실에서 현실 세계로 흘러들어가는 것을 볼 수 있게 됐다"며, "의사이든, 차량의 조수석에 탑승한 사람이든 이 방법을 사용하는 사용자는 해당 결정과 관련된 위험이나 불확실성을 알아야 한다. 이 시스템이 빠르게 그 불확실성을 표시할 뿐만 아니라, 교차로에 접근하는 자율주행차와 같은 위험한 시나리오에서 보다 보수적인 의사결정을 내리는 데 사용될 것입니다"라고 말했다.

이어 그는 "배포 가능한 머신러닝을 적용하는 모든 분야는 궁극적으로 신뢰할 수 있는 불확실성 인식을 가져야 합니다"라고 덧붙였다.

한편, 이 연구는 '토요타-MIT 컴퓨터과학인공지능연구소 공동연구센터(Toyota-CSAIL Joint Research Center)'를 통해 미 국립과학재단과 도요타연구소에 의해 지원되었다.

저작권자 © 인공지능신문 무단전재 및 재배포 금지