NXP 반도체가 엣지에서 고급 머신러닝 전용 신경망처리장치(Neural Processing Unit, 이하 NPU)를 탑재한 i.MX 애플리케이션 프로세서 출시하고 엣지버스(EdgeVerse) 포트폴리오를 확대했다. 제품은 1분기 중에 고객들에게 제공될 예정이다.

i.MX 8M Plus 애플리케이션 프로세서는 산업 및 IoT 등 엣지에서의 머신러닝 추론을 위한 전용 NPU가 탑재된 첫 번째 i.MX 제품군이다.

고급 14nm LPC 핀펫(FinFET) 공정 기술을 통해 개발된 제품은 다중 객체 식별, 4만 개 이상의 영어 단어 음성 인식, 의료 영상 등 여러 개의 매우 복잡한 신경망을 동시에 실행할 수 있다. 강력한 NPU는 초당 500개 이상의 이미지를 다루는 인기 이미지 분류 네트워크인 모바일넷(Mobilenet)을 처리할 수 있다.

제품은 2.3 TOPS(초당 테라 연산)의 고성능 NPU를 최대 2GHz까지 지원하는 쿼드코어 Cortex-A53 서브시스템, 800MHz Cortex-M7을 갖춘 독립적인 실시간 서브시스템, 음성 및 자연어 처리를 위한 고성능 800MHz 오디오 DSP(디지털 신호 처리), 듀얼 카메라 이미지 시그널 프로세서(Image Signal Processors, ISP), 풍부한 그래픽 렌더링을 위한 3D GPU 등을 탑재했다.

특히 고성능 Cortex-A53 코어와 NPU가 탑재된 엣지 디바이스는 사람이 약간 개입하거나 전혀 개입하지 않고 입력된 정보를 학습 및 추론해 지능적인 의사결정을 현장에서(locally) 내릴 수 있다.

또 비용 효율적으로 치안, 머신비전, 로봇공학, 제스처 컨트롤, 그리고 초고속 응답시간과 높은 정확도를 갖춘 인간과 디바이스 간의 원활한 상호작용을 위한 자연어 처리(NLP) 기능을 지원하는 인간의 감정(emoticon) 감지 등과 다양한 사물 인식 분야에 적용할 수 있다.

개발자들은 NPU에 머신러닝 추론 기능을 오프로드(off-load)해서, 고성능 Cortex-A와 Cortex-M 코어, DSP, GPU로 다른 시스템이나 사용자 애플리케이션 작업을 실행할 수 있다.

비전 파이프라인은 실시간 스테레오 비전용 고화질 카메라 2대 또는 12M Pixel 해상도 카메라 1대를 지원하는 듀얼 통합 ISP로 고정되며, HDR(High Dynamic Range)과 어안렌즈(fisheye lens) 왜곡 교정 기능도 지원한다. 이러한 기능들로 감시, 스마트 리테일 애플리케이션, 로봇 비전, 가정용 건강관리 모니터와 같은 실시간 이미지 프로세싱 애플리케이션을 구현할 수 있다.

또 i.MX 8M Plus는 음성 애플리케이션을 구현하기 위해 음성 스트림(voice stream)을 사전/사후 처리해 자연어 처리 성능을 강화하는 고성능 HiFi 4 DSP를 탑재했다.

강력한 Cortex-M7 도메인은 실시간 응답 시스템을 실행하는 데 사용될 수 있다. 이때 호출 단어 감지(wake work detection)를 위해 Cortex-M 도메인만 활성 상태로 유지하면서 애플리케이션 프로세서 도메인은 끄면, 애플리케이션 프로세서 도메인이 복잡한 비실시간 애플리케이션을 실시함으로써, 전체 시스템 전력 소비량을 줄일 수 있다.

i.MX 8M Plus는 클라우드 스트리밍 또는 로컬 스토리지용 H.265나 H.264 HD 비디오 인코더/디코더로 여러 영상 피드를 압축할 수 있는 시스템, 그리고 돌비 애트모스(Dolby Atmos)와 DTS:X를 갖춘 이머시브3D(Immersiv3D) 오디오와 3D/2D 그래픽으로 구현한 풍부한 사용자 경험을 바탕으로, 고급 멀티미디어와 영상 처리 기능을 확장한다.

정확한 얼굴 인식과 음성/명령 인식, 심지어 제스처 인식까지 결합해 공장의 인간-기계 인터페이스(HMI)를 보다 직관적이고 안전하게 만들 수 있다.

4차 산업 IT/OT 융합을 지원하는 i.MX 8M Plus는 기가비트 이더넷(Gigabit Ethernet)과 시간 민감형 네트워크(Time Sensitive Networking, TSN)를 제공하며, Arm Cortex® M7 실시간 프로세싱과 함께 적용될 경우, 결정적 유선 네트워크 연결(deterministic wired network connectivity)과 프로세싱 성능을 구현할 수 있다.

한편, i.MX 8M Plus는 산업용 애플리케이션에 필요한 높은 품질과 신뢰성 기준을 충족하기 위해 내장 메모리와 DDR 인터페이스를 위한 오류 수정 코드(ECC) 기능을 제공한다. 이 제품군은 엄격한 산업 온도 범위(주위 온도 -40℃에서 105℃)와 파워 온 프로필(power-on profile)을 충족한다.