컴퓨팅 성능 향샹과 잇달은 고성능 AI 칩셋 출시로 엣지에서 수많은 데이터가 생성되면서 인공지능(AI) 모델이 더 정교해지고 뚜렷한 성과도 나오고 있다.

기업들은 AI를 새로운 기회로 활용하는 것은 물론 일부 비즈니스의 문제 해결에 적용하고 있다. AI가 발전하면서 더 많은 비즈니스 기회도 생겨나고 이로 인해 AI 사용이 계속 증가할 것으로 전망된다.

하지만 AI가 일반적인 업무에서 의사 결정을 수행하는 등 더 핵심적인 업무로 이동 됨에 따라 이미 결정한 최종 결과의 근거와 도출과정의 타당성을 제공하지 못하고 있다. 또 오류 원인을 즉각적으로 알지 못하고 어떻게 이런 결정을 했는지 개발자조차 파악하지 못하면서 블랙박스가 존재하는 AI에 의존할 수 없다는 인식 또한 커지고 있다. 

이에 AI가 내린 결정이나 답을 AI 스스로가 사람이 이해하는 형태로 설명하고 제시할 수 있는 '설명 가능한 AI(eXplainable Artificial Intelligence, 이하 XAI)'가 핵심적인 비즈니스에 필수적으로 대두되고 있다. 

미국 방위고등연구계획국(DARPA, Defense Advanced Research Projects Agency)는 지난 2016년 XAI 투자 프로그램을 발표했으며 국내 UNIST를 포함한 세계의 유명 대학 및 연구 기관 등도 XAI 개발에 박차를 가하고 있다. 다양한 문제를 정밀하게 예측하는 AI 활용이 본격화 되고 있는 것이다.

XAI는 학습 과정 중 데이터로부터 다양한 패턴을 추출·분석해 드러나지 않았던 법칙, 전략 등을 도출할 수 있다. 이에 따라 사용자들 사이에 신뢰를 쌓고 조직이 이러한 모델을 사용해 개발하는 제품에 대한 신뢰와 자신감이 높아지는 것이다.

특히 AI가 사람에게 의사결정의 이유를 설명하게 되면서 질병 진단과 금융거래, 조사 보고서 등에서 그 결과에 대한 신뢰성이 높아지고 활용도도 더욱 높아질 것으로 보인다.

예를 들어 전자 의료기록이나 뇌 영상 이미지, 생체 데이터 등을 자동으로 분석해 췌장암이나 치매 같은 질병을 진단할 수 있다. 그러나 이것으로 끝나는 것이 아니라 진단 결과에 '왜' 췌장암이나 치매로 판단하는지 파악할 수 있어 AI의 진단에 대한 신뢰도를 높이는 것이다.

또 천연자원 구매나 주식 거래 등에서도 사고파는 결정에 대한 보고서를 받을 수 있으며, 금융에 적용하면 정확한 분석과 이를 바탕으로 예측이 가능해 지는 것이다.

이에 기업들이 최근 적용하고 있는 '설명 가능한 AI(XAI)' 몇가지 사례를 들어 본다.

미국 심머신(simMachines,Inc)이 개발·공급하는 AI 심머신(AI simMachines)은 XAI의 일종이다. 이 솔루션은 정확한 예측과 예측에 이르기 '해석의 제시'라는 기존에 양립이 어렵다고 한 AI 활용 과제를 자체 알고리즘으로 해결한 것이다.

특히 머신러닝을 사용해 소비자 행동에 영향을 미치는 모든 데이터 세트를 고려할 때 심머신은 기업의 패턴을 감지하고 미래의 수요 또는 소비를 예측하며, 세부적인 과거 추이를 가시화한다.(아래는 마케팅에 설명 가능한 AI 를 적용한  동적 예측 세그먼트화 소개 영상이다)

또한 시간 경과에 따른 두 개의 클러스터, 세그먼트 또는 클래스 비교 등의 시계열 비교와 보고 및 분석을 위해 특정 간격으로 시계열 분석을 생성하며, 시간의 경과에 따른 변화와 변화의 원인을 설명하는 데이터의 패턴을 가시화한다. 또 비정상적인 패턴 탐지와 모든 시간 범위 또는 기준을 기반으로 예측된 미래 이벤트를 작성하고 예측의 원인을 도출한다.

구글 또한 오랫동안 설명 가능한 XAI를 개발해왔고, 클라우드 오퍼링을 통해 이 서비스를 출시하기도 했다. 이 서비스는 다양한 모델의 결과에서 각 데이터 포인트의 기여도를 정량화한다. 이를 통해 개발자들은 모델의 성능을 더욱 향상시키고 원하는 결과를 얻을 수 있게 한다.

아직 초기 서비스여서 단지 몇 종류의 머신러닝 모델로 제한돼 서비스되고 있다. 그러나 그 결과를 전달하는 데 사용되는 모델의 성격과 데이터 유형에 분석적이고 더 나은 경험을 제공하기 위해 구글은 서비스 향상 노력을 가속화하고 있다.

IBM은 오픈스케일(OpenScale)과 함께 설명 가능한 AI 서비스를 지난 6월부터 제공하고 있다. 이 서비스는 모델이 어떻게 작동하고 있는지를 명확히 할뿐만 아니라 관련된 문제를 해결하는 데도 도움을 준다. 또 블랙박스 문제를 해결하기 위한 지속적인 시도로 IBM은 AI에 대한 통찰력을 제공하고 있으며, 그 결과를 개선하기 위한 왓슨 오픈스케일(Watson OpenScale)로 AI를 한 단계 끌어올려 조직들을 지원하고 있다.

이를 통해 감독기구와 선도기업들이 신용위험 모형이 왜 특정 권장사항을 제시하고 있는지를 이해하는 데 도움을 주고 있으며 모델들이 특정 그룹에 대해 편견 없이 실행되도록 보장한다. (아래는 지난 6월 발표한 왓슨 오픈스케일의 소개 영상이다.)

일본 스타트업 스카이디스크(Skydisc)는 XAI 모델 '모션보드 스카이 AI(MotionBoard for SkyAI)' 개발하고 지난 9월 공개했다. 이 XAI 는 자동차 부품의 제조에 결함이 발생하는 시기와 원인을 판정하고 그 결과와 함께 판정 이유를 알려준다.

이 서비스는 성형가공기에서 불량품 발생을 예측한 AI의 판정 결과와 결함이 발생했을 때 그 요인이 되는 매개 변수를 실시간으로 시각화하는 것이 특징이다. 또  양품과 불량품의 데이터 비교 및 ​​월·주·일 단위로 생산 데이터의 변화를 그래프로 확인할 수 있다.

일반적으로 AI를 활용하여 검지할 때 기존에는 문제가 일어날 것 같은 시기나 원인만을 보여주지만 이 서비스에서는 다르다. 예를 들어, 성형가공기에서 부품에 주름이 생기거나 빠지거나 했을 때 성형기의 내압 센서나 가스 온도 등의 상태를 AI가 어떤 문제에 주목했는지도 함께 설명한다. 

이 서비스는 공장 관리자들에게 하자 발생의 이유를 전달해 공정의 문제점이나 인력 배치를 재검토해 업무를 효율성을 높이는 데 활용될 것으로 기대된다.

피들러 연구소(Fiddler Labs)가 선보인 XAI는 일반적인 모델과 달리 모델 예측 이해, 모델 동작 분석 및 모델 성능 모니터링과 같은 광범위한 솔루션을 제공한다. 이러한 풍부한 기능이 내재된 솔루션을 사용하면 다양한 조직에서 머신러닝 모델의 불일치를 강조해 표시하여 AI 기반 솔루션의 예측을 더 잘 이해할 수 있다.

또한 피들러 연구소는 머신러닝 기반 모델이 산업 규정을 준수하는지 여부를 확인하도록 비즈니스에 권한을 부여한다. 이러한 기능을 통해 다양한 회사에서 머신러닝 모델에 대한 통찰력을 얻을 수 있는 솔루션이다.

킨디(Kyndi)는 지난 7월 업계 최초로 XAI 플랫폼을 발전시키기 위해 인텔캐피탈이 주도하는 2 천만 달러의 자금을 조달하기도 했다. 킨디의 XAI는 일반 AI 솔루션과 달리 처리하는 각 문서의 출처와 출처를 평가하는 동시에 시스템을 교육하기 위한 레이블이 있는 큰 데이터 세트가 없어도 문서 모음 내에서 찾기 어려운 정보를 신속하게 찾을 수 있다. 

이처럼 '설명 가능한 AI(XAI)'는 AI의 판단 결과를 논리적으로 설명하는 것이 가능해 진 것이다. 

최근 AI 이면의 신뢰성을 채우려는 일환으로 대두된 XAI에 대한 연구와 개발이 금융, 보험, 군사 등 다양한 분야에서 사용자로부터 신뢰를 얻고 있고 사회적 수용을 위한 공감대 형성과 더 나은 경험을 제공하기 위해 서비스를 향상시키고 있다.

현재 XAI는 다양한 비지니스에서 AI 시스템의 성능 저하 요인을 파악하고 학습 모델 간 정량화 된 비교를 통해 최적의 학습 모델을 도출하는데 효과적으로 활용되고 있다. 특히 AI 시스템의 성능 향상과 기존에 알고리즘의 복잡성으로 인해 알 수 없었던 최종 결과의 근거를 제시하고 인간과 인공지능 간 상호작용을 보다 효율적으로 높이는 도구로 사용되기 시작한 점도 주목할 만하다.