오늘날 머신러닝은 이미지에서 객체를 식별하고 스캔 ​​한 문서에서 텍스트 추출 또는 음성을 텍스트로 변환하고 이해하는 등 다양한 면에서 매우 정확한 추론을 제공한다.

어떤 용도로 사용되든, 머신러닝 모델은 예측을 제공하면서 모델의 관점에서 그 예측이 얼마나 정확한지 나타내는 신뢰도 점수를 제공한다. 신뢰도 점수가 높을수록, 예측결과의 신뢰도도 높아지는 것이다.

하지만 추론 결과에 일부 모호한 부분이 있어 원하는 수준의 신뢰도를 확보하지 못한 경우, 사람이 개입해 모호한 부분을 검토해야 할 수 있다. 이와 같은 머신러닝과 검토자 간의 상호 작용은 머신러닝 시스템의 성공에 매우 중요하다. 하지만 사람이 개입해 검토하는 작업은 쉽지 않고 대규모 프로젝트의 경우에는 많은 비용이 든다.

예를 들어, 사용자의 사진을 유명인의 얼굴과 일치시키는 소셜 미디어 애플리케이션 등 개발자들은 흥미로운 게임을 만들어 내고 반환하기 위해 80%의 신뢰도 점수에 의존할 수도 있다. 그러나, 일반적인 업무에서 법 집행과 관련된 공공 안전, 금융 등 의사 결정을 수행하는 등 더 핵심적인 업무로 이동됨에 따라 높은 신뢰도(최대 99%)에서도 사람의 판단이 필요한 상황에서는 검토를 통해 추론을 최종 검증한다.

그러나 머신러닝과 인간 검토자 간의 상호 작용은 머신러닝 모델에 매우 중요하지만, 인적 검토는 규모에 맞게 구축하고 운영하기가 어렵고 비용이 많이 든다. 종종 다양한 워크플로우 단계, 인적 검토 작업과 결과를 관리하기 위한 사용자 지정 소프트웨어 운영과 인적자원의 모집과 관리 등이 수반된다.

결과적으로, 개발자들은 때때로 의도된 응용 프로그램을 구축하는 것보다 인간의 검토 과정을 관리하는 데 더 많은 시간을 소비하거나 인간의 검토를 포기해야 하기 때문에 모델을 배치하는 데 있어 자신감을 잃게 된다.

이에 지난해 12월 아마존웹서비스(Amazon Web Services, 이하 AWS)는 업계와 규모의 조직들도 머신러닝으로 구현되는 최신 엔터프라이즈 검색, 코드 리뷰와 프로파일링, 이상거래 탐지, 의료 기록, AI 예측에 대한 리뷰 등 더욱 많은 개발자가 머신러닝을 이용해 향상된 엔드유저 경험을 개발할 수 있도록 지원하는 등 5가지 최신 AI 서비스(본지보도 참고)를 발표 했었다.

그 중 머신러닝의 낮은 신뢰도 예측을 지속적으로 식별하고 및 개선하여 머신러닝 추론에 사람의 판단이 필요한 상황에서 확인을 통해 추론을 최종 검증할 수 있는 모델 및 애플리케이션 정확도를 개선할 수 있는 완전 관리형 서비스 '아마존 증강 인공지능(Amazon Augmented Artificial Intelligence. 이하, A2I)의 일반 가용성(availability)을 24일(현지시간) 발표했다

A2I(아마존 증강 인공지능)를 사용하면 머신러닝 예측의 인적 검토에 필요한 워크플로우를 쉽게 구축할 수 있다. 아마존 A2I는 모든 개발자에게 인적 검토 시스템을 구축하거나 많은 수의 인적 검토자를 관리하는 것과 관련하여 획일적으로 발생하는 작업 부담을 덜어준다.

예를 들어, 스캔한 모기지 신청서 양식에서 정보를 추출하는 경우 낮은 품질의 스캔 이미지나 알아보기 어려운 필기로 인해 인적 검토가 필요할 수 있다. 하지만 인적 검토 시스템을 구축하려면 복잡한 프로세스 또는 워크플로우를 구현하고, 검토 작업 및 결과를 관리하는 맞춤형 소프트웨어를 작성하고, 인적자원을 관리해야 하기 때문에 시간과 비용이 많이 소요될 수 있다.

A2I는 사용자의 특정 요구 사항에 따라 인적 검토를 머신러닝 애플리케이션에 통합할 수 있는 유연성을 제공한다. 신뢰도가 낮은 예측 결과는 검토와 조치를 취할 수 있도록 검토자에게 보내진다. 필요한 경우 여러 검토자가 예측 결과를 검토하도록 요구하여 합의를 도출할 수도 있다.

또한 모델을 감사하기 위해 인적 검토 대상 예측 결과를 무작위로 샘플링 하여 모델이 계속 높은 성능을 발휘하고 있는지 주기적으로 평가할 수 있다. A2I는 사람과 기계가 각자의 역할에서 최대한의 역량을 발휘하도록 돕는다.

A2I는 조직 안팎의 검토자와 함께 협업할 수 있는 옵션을 제공하며, 지정한 검토자에게 검토 건을 쉽게 라우팅할 수 있다. 이미 크라우드소싱 플랫폼 아마존 메커니컬 터크(Amazon Mechanical Turk)를 통해 머신러닝 관련 작업을 수행하고 있는 500,000명 이상의 독립 계약업체 인력도 이용할 수 있다. 또는 데이터에 기밀성 또는 특수한 기술이 요구되는 경우, iVision, CapStart, Cogito, iMerit 등 검토 프로젝트 경험이 풍부하고 AWS에서 사전 선별한 파트너를 이용하여 품질 및 보안 절차를 수행할 수 있다.

A2I은 AWS에서 실행하든 다른 플랫폼에서 실행하든 상관없이 사람의 판단과 AI의 기능을 모든 머신러닝 애플리케이션에 손쉽게 통합할 수 있다. A2I는 문서 처리를 위한 아마존 텍스트트랙트(Amazon Texttract) 및 지능형 이미지 분석 솔루션인 ‘아마존 레코그니션(Amazon Rekognition)’에 직접 통합되므로, AWS 콘솔에서 클릭 몇 번으로 해당 사용 사례에 대한 인적 검토 워크플로를 손쉽게 추가할 수 있다.

A2I API를 사용하면, 머신러닝 프로세스의 여러 단계에서 필요한 번거로운 작업을 제거해, 최적화된 인공지능 학습 모델을 구축하는 아마존 세이지메이커(Amazon SageMaker)와 또는 다른 솔루션으로 구축된 사용자 지정 머신러닝 모델을 사용하는 모든 애플리케이션에 인적 검토를 추가할 수 있다.

예를 들어, 콘텐츠 조정으로 콘텐츠 조정 지침은 사례마다 미묘한 차이가 있고 상황에 따라 크게 달라지며 국가별로도 다르다. 이로 인해 머신러닝이 높은 정확도를 유지하기가 어려울 수 있다. 아마존 레코그니션 또는 사용자 지정 컴퓨터 비전 모델에 A2I를 사용하면, 모델이 높은 신뢰도로 예측할 수 없을 때 콘텐츠를 검토자에게 라우팅할 수 있다.

또 대출 신청 처리 프로세스에서 아마존 텍스트트랙트 또는 사용자 지정 모델을 사용하여 대출 신청서에서 주요 정보를 추출한다. 그런 다음 A2I를 사용하여, 적격 신청이 거부되지 않도록 복잡한 대출 요청만 인간 검토자에게 보내고 다른 모든 대출은 자동으로 처리할 수 있다. 이를 통해 신청을 더 빠르게 처리하고 더 나은 고객 경험을 제공할 수 있다.

그리고 모델 정확도 모니터링에서는 A2I를 사용하여 사용자 지정 ML 모델 예측의 랜덤 샘플을 인간 검토자에게 보낸다. 검토 결과는 모델의 성능을 관계자에게 알리고, 모델을 학습시키는 데 사용한 데이터와 실제 데이터 간의 편차를 파악하는 데 이용할 수 있다. 그리고 수정된 오류를 학습 데이터 세트에 추가하여 모델을 개선할 수 있다.

결론적으로 인공지능에서 ‘증강(Augmented)’이라는 단어의 선택은 머신러닝과 딥러닝 알고리즘을 사용할 때 수행하는 인공지능과 인간 지능의 상호 관계에서 문제를 해결하고 ​인공지능에 인간의 의사결정을 돕는 것을 의미한다.

인공지능의 추론 결과에 일부 모호한 부분이 있어 원하는 수준의 신뢰도를 확보하지 못한 경우, 사람이 개입해 모호한 부분을 검토해야 할 수 있다. 또, 이 작업은 여러 단계를 거쳐야 하고 검토 작업과 그 결과를 관리하려면 맞춤형 소프트웨어가 필요하며, 많은 검토 인원을 고용하고 관리해야 한다.

이와 같은 머신러닝과 검토자 간의 상호 작용은 머신러닝 시스템의 성공에 매우 중요하다. 하지만 사람이 개입해 검토하는 작업은 쉽지 않고 대규모 프로젝트의 경우에는 많은 비용이 든다. 이에 비용 효율적으로 빠른 시간에 사람이 제공하는 머신러닝 애플리케이션 리뷰 구축과 관리를 보다 쉽게 할 수 있도록 지원하는 서비스로 인공지능을 개선하고 강화하기 위한 솔루션인 것이다.

참고로 현재, 아마존 증강 인공지능(A2I) 솔루션은 미국 동부의 버지니아 북부, 오하이오와 미국 서부 오레곤, 캐나다 중부, 영국 런던, 아일랜드, 독일 프랑크푸르트, 아시아 태평양에서는 서울을 비롯한 일본 도쿄, 호주 시드니, 인도 붐바이, 싱가포르 등에서 사용할 수 있다.