이 AI 시스템은 두 부분으로 구성된다. 특정 작업 하위 집합을 예측할 수 있는 '분류자'와 지정된 작업을 자체 분류 ​​또는 전문가가 처리해야하는지 여부를 결정하는 '거부자'로 구분된다.

최근 인공지능은 작업자와 자동화 된 소프트웨어 간의 섬세한 상호 작용에 의존하는 새로운 솔루션이 속속 등장하고 있다.

페이스북의 인공지능은 자동화 된 필터링과 인간 중재자와의 조합을 사용하여 플랫폼에서 혐오적이고 폭력적인 콘텐츠를 차단하기 위해 노력하고 있으며, 방사선 전문의들은 다양한 형태의 암을 더 잘 감지할 수 있도록 하는 AI를 사용하고 있다.

이러한 접근법에서 까다로울 수 있는 것은 사람들의 전문지식 대 AI 프로그램에 언제 의존해야 하는지를 이해하는 것이다. 이것은 항상 누가 '더 나은' 임무를 수행하는가에 대한 질문만은 아니다. 실제로, 어떤 사람이 제한된 대역폭을 가지고 있다면, AI 시스템의 도움을 요청하는 빈도를 최소화하도록 훈련을 받아야 할지도 모른다.

이 복잡한 문제를 해결하기 위해  MIT인공지능연구소(CSAIL, Computer Science & Artificial Intelligence Laboratory) 연구팀은 어떤 과제에 대해 예측하거나, 혹은 전문가에게 결정을 미룰 수 있는 머신러닝 시스템을 지난달 31일 개발했다고 밝혔다. 여기에서 가장 중요한 것은 팀 동료의 가용성 및 경험 수준과 같은 요인에 기초하여 인간 협력자에게 시기와 빈도를 조정할 수 있다는 것이다.

시스템은 전문가에게 가슴 엑스레이와 의료 기록을 토대로 환자를 진단하도록 요청하거나, 자료를 통해 진단을 스스로 내린다(사진:
시스템은 전문가에게 가슴 엑스레이와 의료 기록을 토대로 환자를 진단하도록 요청하거나, 자료를 통해 진단을 스스로 내린다(사진:CSAIL)

의사와 함께 작동하고 언제 개입해야 하는지를 아는 이 AI 시스템은 두 부분으로 구성된다. 특정 작업 하위 집합을 예측할 수 있는 '분류자'와 지정된 작업을 자체 분류 ​​또는 전문가가 처리해야하는지 여부를 결정하는 '거부자'로 구분된다. 의료 진단 및 텍스트·이미지 분류 작업에 대한 실험을 통해 연구팀은 그들의 접근 방식이 기준선보다 더 나은 정확도를 달성 할뿐만 아니라 더 낮은 계산 비용과 훨씬 적은 훈련 데이터 샘플로 달성한다는 것을 보여주었다.

또한 연구팀은 흉부 엑스레이 등 여러 과제에 대해 시스템을 학습해 무기폐(atelectasis), 심장비대(cardiomegaly) 등 구체적인 상태를 진단했다. 심장의 경우, 그들은 인간-AI 하이브리드 모델이 스스로 할 수 있는 것보다 8% 더 좋은 성능을 보인다는 것을 발견했다(AU-ROC 점수 기준)고 한다.

MIT 의공학과학연구소(MIT’s Institute for Medical Engineering and Science) 소속이기도 한 데이비드 손태그(David Sontag) CSAIL 부교수는 "우리의 알고리즘을 사용하면 특정 예측 정확도 또는 전문가의 시간과 노력의 비용 등 원하는 선택을 최적화 할 수 있습니다."라며, "또한 학습 된 거부자를 해석함으로써 시스템은 전문가가 결정을 내리는 방법과 AI가 더 적합한 설정 또는 그 반대에 대한 통찰력을 제공합니다”라고 말했다.

MIT 전기공학부 후세인 모자나르(Hussein Mozanar) 박사는 "의사들이 여분의 시간이 많지 않은 의료 환경에서, 주어진 환자의 파일에서 모든 데이터 포인트를 살펴보도록 하는 것은 그들의 시간을 사용하는 최선의 방법이 아니다"라며, "그런 시나리오에서는 시스템이 그들의 시간에 민감하게 반응하고 절대적으로 필요할 때만 도움을 요청하는 것이 중요하다"라고 말했다.

향후 연구팀은 X 선 진단을 위한 방사선 전문의와 같은 실제 인간 전문가와 함께 접근 방식을 테스트 할 계획이다. 또한 편향된 전문가 데이터에서 학습할 수 있는 시스템과 동시에 여러 전문가와 함께 작업하고 연기할 수 있는 시스템을 개발하는 방법을 연구한다. 더 자세한 적용 기술과 모델은 지난 7월 2일 아카이브를 통해 발표된 ‘전문가에게 지연시키는 학습을 위한 일관된 추정치(Consistent Estimators for Learning to Defer to an Expert -다운)’를 참고하면 된다.

저작권자 © 인공지능신문 무단전재 및 재배포 금지