인공지능 기반 자율시스템은 우리와 함께 하는 다양한 공간을 공유하고 있으며, 점차 그 공간에는 더 똑똑한 자율시스템이 급속히 확대될 것으로... 인공지능 윤리를 넘어 현존하고 더 확대될 자가 지시식 자율 시스템과의 더 많은 일상적 상호작용은 더 많은 위험을 초래할 수 있을 것!

모든 항공기에는 비행 시스템에서 발생하는 모든 일과 조종사의 행동에 대한 1초 단위 기록을 보존하는 '블랙박스(Black Box)'가 있다. 이러한 기록은 만에 하나, 발생할지 모르는 항공기 사고 원인을 파악하는 데 매우 중요하다.

美 도로교통안전국(National Highway Traffic Safety Administration.이하, NHTSA)에 따르며 핸즈프리 운전을 가능하게 하는 자율 주행 '오토파일럿(AutoPilot) 시스템이 장착된 테슬라(Tesla) 차량과 관련된 12개의 충돌 사고를 조사하고 있다고 한다.

이 사고로 11명이 사망했으며, 지난달 3일 NHTSA에 따르면 그 중 한 명은 7월 26일 롱아일랜드 고속도로에서 타이어 펑크를 수리하려던 52세 남성이 테슬라에 치여 사망했다.

그럼에도 불구하고 모든 자동차 회사는 인공지능(AI) 기반 자동 운전 기술을 경쟁적으로 강화하고 있다. 월마트(Walmart)는 포드 및 Argo AI와 협력하여 택배를 위한 자율 주행 자동차를 테스트하고 있으며, 미국에서 시장 점유율 28%로 우버(Uber) 다음으로 큰 공유기업인 리프트(Lyft) 역시 동일한 회사와 협력하여 로봇 택시를 테스트하고 있다.

또한, 제조 및 물류현장의 지능형 자율이동로봇(AMR), 산업용 로봇부터 일본의 요양원들은 '케어봇'을 식사 배달, 환자 감시, 심지어 환자와 공감대를 나누는 친구 관계까지 형성한다. 그리고 공공장소 및 공유시설의 서비스로봇, 가정의 청소로봇, 정원의 잔디를 관리하는 잔디깍기 로봇까지 수많은 분야에서 인공지능 기반 자가 지시식 자율 시스템이 운영이 확대되고 또, 진화하고 있다.

이처럼 인공지능 기반 자율시스템은 우리와 함께 하는 다양한 공간을 공유하고 있으며, 점차 그 공간에는 더 똑똑한 자율시스템이 급속히 확대될 것으로 예상된다. 이는 인공지능 윤리를 넘어 현존하고 더 확대될 자율 시스템과의 더 많은 일상적 상호작용은 더 많은 위험을 초래할 수 있는 것이다.

이러한 위험을 염두에 두고, 산업 개발자, 보험사 및 정부 관계자뿐만 아니라 로봇 공학 및 인공지능 연구자들로 구성된 국제 연구팀이 이 문제를 더 잘 예측하고 책임감을 높이기 위한 일련의 거버넌스 제안을 지난 7월 20일 발표한 이후 관련 커뮤니티를 달구고 있다.

그것의 핵심 아이디어 중 하나는 자율 시스템을 위한 블랙박스다.

존스홉킨스대학(Johns Hopkins University) 토목시스템공학과 교수 겸 스탠퍼드 프리먼 스포글리 국제문제연구소(Stanford Freeman Spogli Institute for International) 그레고리 팔코(Gregory Falco) 교수는 "지금 당장 일이 잘못되면 어깨가 으쓱해진다(shoulder shrugs)"며, “이런 접근 방식은 위험을 미리 평가하고, 실패를 이해하기 위한 감사 추적을 만드는 데 도움이 될 것이며, 주된 목표는 더 많은 책임을 창출하는 것입니다”라고 말했다.

공동 연구팀의 이 새로운 제안은 세 가지 원칙에 초점을 맞추고 있다. 즉, 시스템을 작동시키기 전에 잠재적인 위험 평가를 준비하는 것, 블랙박스를 포함한 감사 추적(audit trail)을 만들어 사고 발생시 사고를 분석하는 것, 그리고 지역 및 국가 규정에 대한 준수를 촉진한다는 것이다.

공동연구팀 중 한 명으로 세계 2위 재보험사인 스위스재보험(Swiss Reinsurance Company)의 임원은 "보험 혜택을 제공하기 전에 잠재적인 위험에 대해 가능한 한 많이 알고 싶어 한다"며, "마찬가지로 법원과 변호사는 사고에 대한 책임을 져야 하거나 해서는 안 되는 사람을 결정하는 데 데이터 추적이 필요하며, 고객들은 불필요한 위험을 피하고 싶어 한다"고 밝혔다.

이미 몇몇 기업들은 이미 자율주행차용 블랙박스를 개발하고 있는데, 이는 부분적으로 미국교통안전위원회(National Transportation Safety Board)가 제조업체에 사고 조사에 필요한 데이터 종류에 대해 경고했기 때문이다.

그러나 연구팀은 이 위험 및 안전 문제는 자동차를 훨씬 넘어 확장되고 있다며, 예를 들어, 드론이 전력선을 자르고 사람에게 치명상을 입혀도 현재로서는 무슨 일이 일어났는지 밝힐 수 있는 방법은 없으며, 미친 듯이 질주하는 잔디깍기 로봇도 마찬가지일 것이다 며, 연구팀은 인공지능을 사용하는 의료 기기는 사용 중에 일어나는 모든 일에 대해 타임스탬프가 찍힌 정보를 기록해야 한다고 주장했다.

또한, 연구팀은 기업이 블랙박스 데이터와 인적 인터뷰를 통해 얻은 정보를 모두 공개해야 한다고 주장했다. 분석가가 이러한 기록을 연구할 수 있게 하면 다른 제조업체가 자체 시스템에 통합할 수 있는 크라우드 소싱으로 안전 개선이 가능해질 것이라고 밝혔다.

이 연구를 주도한 그레고리 팔코 교수는 "잔디 깎는 로봇과 같이 상대적으로 저렴한 소비자 제품에도 블랙박스 레코더가 있어야 한다"며, "보다 광범위하게 회사와 산업이 제품 개발 및 진화의 모든 단계에서 위험 평가를 통합해야 한다"고 주장했다.

레고리 팔코 교수는 “개방된 환경에서 작동하는 자율 에이전트가 있고 해당 에이전트가 학습을 돕기 위해 많은 양의 데이터를 제공받을 때 누군가 잘못될 수 있는 모든 것에 대한 정보를 제공해야 합니다”라고 밝혔다.

이어 "우리(연구팀)가 이번 연구를 통해 사람들에게 위험에 대해 생각하는 방법과 사후 분석을 수행하기 위한 데이터 추적을 만드는 방법에 대한 로드맵을 제공한 것입니다"라고 연구 취지를 성명했다.

한편, 연구팀의 연구 결과 및 제안은 세계에서 가장 권위있는 과학 저널 중 하나로 로봇 공학 및 인공지능 분야 등 연구 결과를 발표하는 네이처 머신 인텔리전스(Nature Machine Intelligence)에 '독립적인 감사를 통한 인공지능 안전 관리(Governing AI safety through independent audits-다운)'이란 제목으로 지난 7월 20일 발표됐다.