인공지능(AI)은 수년간 급속히 발전하고 있지만 대부분 클라우드 기반으로 구현되고 있다. 그러나 5G와 IoT의 확산으로 그 용량과 시스템의 한계로 실시간 데이터 전송 지연과 개인 식별 데이터를 클라우드에 저장함에 따르는 보안 문제와 서비스 이용시의 소비 전력이나 통신비용의 증가 등의 과제에 직면하고 있다.

이에 스마트폰 및 기타 디바이스가 추론과 학습할 수 있는 토대를 마련하고 저전력, 고성능으로 구현하는 것이 가능해져 엣지에서 실시간 AI 구현이 가능해지고 기존 클라우드에서 이루어지는 AI 알고리즘을 스마트폰, 스마트 스피커, 헤드 마운트 디스플레이(HMD), 자동차, PC·태블릿, 드론, 보안 카메라, 로봇, 엣지 서버 및 머신비전 등에서 그 구현이 가속되고 있다.

이는 AI 칩셋(NPU Neural Network Processing Unit) 및 가속기의 발전과 더불어 보다 저렴한 가격으로 엣지에서 AI 모델을 실행하고 AI가 더 빨라지면서 물체인식, 감정인식, 동작인식, 자동 번역 등 다양한 분야에서 응용되고 있으며, 개인화 등 다양한 분야의 엣지에서도 최적화된 인공지능 구현이 가속화되고 있다.

AI 칩셋은 인공신경망(ANN, Artificial Neural Network) 처리의 광범위한 컴퓨팅 요구를 파악하기 시작한 후 2016 년에 등장했다. 범용 그래픽 처리 장치가 주도하는 초기 AI 칩셋은 엔터프라이즈 시장 및 교육 워크로드에 중점을 두었다. 그러나 엣지에서 AI의 니즈와 그 필요성은 곧 실현되고 엣지 최적화 칩셋 설계 경쟁이 시작되었다.

엣지에서 AI의 핵심인 'NPU(Neural Processing Unit)'는 필수적이다. 또 딥러닝 알고리즘 연산에 최적화된 프로세서 딥러닝 알고리즘은 수천 개 이상의 연산을 동시에 처리해야 하는 병렬 컴퓨팅 기술이 요구된다. NPU는 이러한 대규모 병렬 연산을 효율적으로 대응할 수 있기 때문에 NPU는 AI 구현을 위한 핵심 기술로 꼽히는 것이다.

엣지 AI를 선점하기 위해 글로벌 기업들의 경쟁도 치열하다. NPU시장은 구글, 화웨이, 퀄컴, 엔비디아, NXP, ARM 등이 치열한 경쟁을 벌이고 있다. 이런 경쟁 속에 5G를 기반으로 최근 삼성전자도 합류했다.

국내 연구진도 단일-심층 신경망뿐만 아니라 생성적 적대 신경망과 같은 다중-심층 신경망을 처리할 수 있으면서 엣지에서 학습도 가능한 인공지능 칩셋 GANPU(Generative Adversarial Networks Processing Unit)를 개발해 엣지 디바이스의 AI 활용범위를 넓혔다. 개발된 AI 칩셋은 서버로 데이터를 보내지 않고 디바이스 내에서 생성적 적대 신경망(GAN)을 구현해 그 활용도가 기대된다.

또한 모바일에서 하나의 칩으로 회선 신경망(Convolutional Neural Network, CNN)과 재귀 신경망(Recurrent Neural Network, RNN)을 동시에 처리할 수 있고, 인식 대상에 따라 에너지효율과 정확도를 다르게 설정할 수 있는 인공지능 칩(Unified Neural Network Processing Unit, UNPU)을 개발함으로써 엣지에서 인공지능 칩의 활용 범위를 넓히고 있다.

예를 들어, 스마트폰 카메라를 통해 사람의 얼굴 표정을 인식해 행복, 슬픔, 놀람, 공포, 무표정 등 7가지의 감정 상태를 자동으로 인식하고 스마트폰 상에 실시간으로 표시하는 감정인식 시스템도 개발했다. 또 비트 시리얼(Bit-serial) 기반의 연산을 수행하여 완전 가변한 (1bit~16bit) 인공신경망 무게 정밀도 (Weight Precision)을 지원하는 AI 칩을 개발해 분리된 코어 구조를 갖는 기존 반도체 칩과 달리 UNPU는 통합된 하나의 프로세서 코어 구조로 재설계되어 회귀 신경망(CNN), 재귀 신경망(RNN) 연산시 최대성능이 세계 최고 수준의 AI 칩 대비 각각 1.15배, 13.8배 증가 시키고 상용화를 추진하고 있다.

일반적으로 AI 처리를 엣지 디바이스로 유도하는 몇 가지 핵심적인 요소가 있다. 자율 주행 및 내비게이션 등과 같은 실시간 애플리케이션은 밀리 초미만의 지연 시간 등의 특별한 요구 사항을 가지고 있어 엣지 처리가 필수적이다. 또한 스마트 스피커의 음성 인식과 같은 다른 응용 프로그램은 개인 정보 보호 문제를 발생시킨다. 엣지에서 AI 처리를 유지하면 개인 정보 보호 문제를 피하고 클라우드 컴퓨팅의 대역폭, 대기 시간 및 비용 등의 문제를 피할 수 있는 것이다.

이처럼 엣지에서 최적화된 AI의 구현과 그 시장이 가속화되고 있다. 지난 25일(현지시간) 글로벌 시장조사기업 옴디아 트랙티카(Omdia Tractica)의 조사 보고서에 따르면 전 세계 AI 엣지 칩셋 시장이 지난해 70 억 달러(약 8조7천억원)에서 오는 2025 년에는 591 억 달러(약 73조2천억원)로 증가할 것이라고 예측했다.

이 보고서는 여러 소비자 및 엔터프라이즈 디바이스 시장에서 AI 엣지 처리 기회에 대한 양적 및 질적 평가로 퀄컴, 구글, 인텔, 알리바바(Alibaba), 애플(Apple), 암(Arm), 바이두(Baidu), CEVA, 코그넥스(Cognex), DJI, 호라이즌 로봇틱스(Horizon Robotics), MediaTek, 모빌아이, 모비디우스(Movidius), 신화(Mythic), 엔비디아(NVIDIA), 테슬라(Tesla), 자일링스(Xilinx) 등이 포함됐다.

결론적으로 인공지능(AI)이 게임에서 인간을 이길 정도로 똑똑해 졌으며, 백만명중에서 범법자를 3초만에 찾아내고 AI를 이용하여 질병 및 기타 건강 상태를 예측하고, 정말 똑똑하고, 내 말을 진정으로 이해하고, 하루의 일을 해결하기 위해 지능적으로 반응하는 개인 비서를 옆에 두고 있다면 정말 놀랄 것이다. 또 그런 날이 그리 멀지 않다는 기대를 갖게 한다.

최근 AI의 발전은 의료, 소매, 자동차, 서버와 같은 다양한 분야에서 모바일 시장을 넘어 현실 세계의 문제를 해결하는 것으로 옮겨가고 있다. 이 능력을 우리 곁(엣지)으로 옮기고 연산 능력, 저전력, 보안, 대역폭, 대기 시간 등의 문제를 해결하는 것이다.

이제 엣지에서 하나의 칩으로 AI 및 딥러닝 구현과 신경망(Neural Network, NN) 등을 통한 AI 모델을 실행하고 추론뿐만 아니라 학습까지 모두 가능해 여러 개의 네트워크를 동시에 지원하는 인공지능 칩셋으로 AI가 더 빨라질 뿐만 아니라 개인화 및 보다 다양한 분야의 엣지에서 최적화된 AI 구현이 가능하게 될 것으로 전망된다.