스트래티지 애널리틱스(Strategy Analytics)의 최근 보고서에 따르면, 차량용 카메라 시장의 가치는 2020년부터 2025년까지 19% 이상으로 성장할 것으로 전망됐다. 이는 차량이 주변 환경에 대한 결정을 내릴 때 필요한 데이터를 제공하는 데 있어 가장 중요한 센서 유형이 될 것으로 보인다.

Arm이 Mali-C78AE ISP(image signal processor) 출시를 발표했다. Mali-C78AE ISP는 오토모티브 애플리케이션의 성능과 안전 기준을 충족하도록 특별히 개발된 IP 포트폴리오에 추가됐다.

Cortex-A78AE및 Mali-G78AE와 더불어 새롭게 추가된 Mali-C78AE는 성능을 최적화하고, 전력 소비를 최소화하며, 기능 안전성에 대한 일관된 접근 방식을 제공하기 위해 완전한 첨단 운전자 지원 시스템(ADAS) 비전 파이프라인을 제공한다.

Arm 오토모티브 및 IoT 사업부의 오토모티브 부사장인 쳇 바블라(Chet Babla)는 “차량용 카메라의 수와 정교함이 증가함에 따라, 머신 및 휴먼 비전(human vision)의 다양한 요구사항을 충족할 수 있도록 이미지 데이터의 높은 처리량을 효율적이고 안전하게 변환하는 데 필요한 컴퓨팅 능력도 증가하고 있다”며, “Mali-C78AE는 이미지 프로세싱에 대한 새로운 접근법을 필요로 하는 업계의 요구사항을 충족하며, ADAS와 자율주행 분야에서 새로운 역량을 발휘할 것이다”라고 말했다.

Mali-C78AE는 다양한 ADAS 기능에 필요한 휴먼 및 머신 비전 안전 애플리케이션을 모두 처리하도록 특별히 설계되었으며, 최대 4대의 실시간 카메라 또는 16대의 가상 카메라에서 데이터를 처리할 수 있다.

Mali-C78AE는 처음부터 시스템 설계자가 ISO 26262 ASIL B 기능 안전성 요구사항을 충족할 수 있도록 하드웨어 안전 메커니즘과 진단 소프트웨어 기능을 통해 개발되었다.

Mali-C78AE는 프레임 데이터를 잘못 처리할 수 있는 단일 카메라 프레임의 결함을 방지하거나 감지하는 것을 목표로 한다. 이를 위해 ISP는 380개 이상의 결함 감지 회로와 지속적인 자체 테스트 기능이 내장되어 있으며, 연결된 카메라의 센서 및 하드웨어 결함을 감지할 수 있다.

안전과 사용자 경험만큼 중요한 것은 Mali-C78AE의 핵심 요소인 처리 속도다. 센서에서 수집된 이미지가 ISP를 거쳐GPU를 통해 운전자의 화면에 표시되는 과정은 150밀리초 내에 이루어져야 한다.

이보다 오랜 시간이 소요될 경우, 운전자는 예를 들어 주차 보조 기능 등을 사용할 때 불편함을 느낄 수 있다. 한편, 머신 비전 애플리케이션에서 수집된 카메라 이미지가 의사결정을 위해 전달될 때까지 차량은 250mm 이상 이동해서는 안 된다. 이보다 더 이동할 경우, 정확하고 적시의 결정이 핵심인 주행 상황에서 머신 비전 시스템이 반응하기에 너무 느리다는 것을 의미한다.

운전자와 기계가 최상의 결정을 내릴 수 있도록 ADAS 카메라는 각 프레임에서 가능한 가장 관련성이 높은 정보를 수집해야 한다. Mali-C78AE는 고급 노이즈 감소 기술과 DR(dynamic range) 관리 기술을 채택하여 프레임에서 지나치게 어둡거나 밝은 영역을 조정함으로써 각 프레임이 선명하고 올바르게 노출될 수 있도록 한다.

Mali-C78AE는 최대 4대의 고해상도 및 고프레임률 카메라에서 카메라 데이터를 실시간으로 처리할 수 있어 메모리, 통신, 그리고 처리 요구사항을 대폭 줄임으로써 보다 효율적인 시스템을 구축한다.

오늘날, 여러 ADAS 기능을 구현하기 위해서는 개별 카메라 설정이 필요하다. 이는 차선 이탈 경고 등 머신비전 애플리케이션에 사용되는 카메라는 서라운드 뷰(surround view)와 같이 인간의 시야에 적합한 이미지를 생성하지 않기 때문이다.

다양한 ADAS 기능을 구현하는 비용을 줄이기 위해 Mali-C78AE는 머신 비전에 최적화된 센서의 출력을 다운스케일링하고 색상을 변환하여 사람의 눈에 맞는 이미지를 생성함으로써 카메라 센서를 이중 목적으로 사용할 수 있게 한다.

또한, OEM들은 카메라와 관련 전자 제품 및 배선에 대한 중복 사용을 방지함으로써 비용과 복잡성을 줄일 수 있다. 이에, 다양한 자동차 모델에 걸쳐 카메라 기반 ADAS 기능을 보다 광범위하게 배포할 수 있어 운전자들에게 더욱 안전하고 향상된 사용자 경험을 제공할 수 있다.

오토모티브 비전 세이프티(vision-safety) 기술의 선도 기업인 모빌아이(Mobileye)는 모빌아이의 차세대 EyeQ 기술에 새로운 Mali-C78AE ISP를 구현하는 데 앞장서고 있다. 모빌아이는 모빌아이 EyeQ Ultra와 EyeQ6H 개발을 시작했을 때 이미지 데이터를 효율적으로 처리하기 위해 Mali-C78AE를 채택했다.

또한, 모빌아이는 Mali-G78AE GPU를 함께 사용함으로써 애플리케이션의 까다로운 요구사항을 충족하는 데 필요한 안전 기능, 매끄럽고 직관적인 실시간 그래픽 렌더링 기능을 구현해냈다.

엘카난 러쉬넥(Elchanan Rushinek) 모빌아이 엔지니어링 부문 부사장은 “서라운드 뷰 시각화 기능을 위해 Arm의 ISP와 GPU 기술을 함께 사용함으로써 모빌아이는 단일 SoC에서 최첨단 ADAS 및 주차 지원 시스템을 제공하는 중앙집중식 컴퓨팅 솔루션을 제공할 수 있게 됐다”고 전했다.