엔지니어들은 사물 인터넷(IoT)이 지닌 전략적 잠재력으로 인해 상시 인터넷 연결없이 데이터를 수집, 처리, 추론하는 다양한 엣지 디바이스를 점차 더 많이 활용하고 있다. 지금까지는 엣지 기기에서의 연산 능력이 인공지능(AI) 머신러닝 모델을 실행하기에 충분하지 않아 기업들이 수집한 데이터를 클라우드로 보내 처리하곤 했다.

그러나 더욱 강력한 프로세서와 모델 압축 소프트웨어의 발전 덕분에 클라우드 컴퓨팅에 대한 의존도는 점차 줄어들고 있으며, 엣지 기기들은 온디바이스 AI로 진화해 더 유능하고, 비용 효율적이며, 신뢰할 수 있고, 프라이빗하고, 안전하며, 미래로 나아갈 수 있는 원동력이 된다. 이제는 엣지 디바이스에서 신뢰할 수 있는 컴퓨팅 성능으로 더 빠르고 효율적이며 고도로 최적화된 AI를 제공한다.

엣지 기기들이 클라우드에서 처리되던 집약적인 AI 연산을 로컬에서 직접 수행할 수 있는 능력을 갖춘 것이다. 인터넷에 연결된 기기의 수가 2030년까지 290억 대에 이를 것으로 예상되며, 엣지 인공지능에 대한 수요의 급격한 증가와 2027년까지 엣지 기기의 약 65%에 통합될 것으로 전망된다.

엣지 기기들은 온디바이스 AI로 실시간으로 지능적인 의사결정을 가능하게 하여, 많은 응용 분야에서 효율성, 응답성, 그리고 적응성을 대폭 향상시킨다.

엣지 AI 발전을 주도하는 핵심 기술

엣지 AI 시장은 2022년의 156억 달러에서 2029년에는 1,074억 달러로 성장할 것으로 전망된다. 엣지 AI 자체는 새로운 개념이 아니지만, 최근 기술의 발전이 엣지 AI를 더욱 간단하고 경제적으로 구현할 수 있도록 발전시켰다. 현재 엣지 AI 발전을 이끄는 네 가지 핵심 요소를 꼽을 수 있다.

먼저, ▷마이크로컨트롤러(MCU) 및 디지털 신호 처리 장치(DSP): 벡터 프로세서는 점차 강력해지고 있으며, 칩 공급업체들은 AI 처리 요구에 부응하기 위해 벡터 프로세서를 특화하여 제공한다. 최근 에지 AI 하드웨어에서는 이러한 유형의 프로세서가 주로 사용된다.

▷그래픽 처리 장치(GPU): 본래 게임이나 비디오 편집과 같은 그래픽 집약적인 작업에 사용되던 GPU는 이제 AI 모델을 훈련시키고 추론을 실행하는 데에도 사용되고 있다. ▷AI 액셀러레이터 ASIC(주문형 반도체):AI 작업에 있어 GPU는 CPU보다 우수한 성능을 발휘하지만, AI 작업에 특화되어 제작된 사용자 맞춤형 ASIC은 더욱 빠른 속도와 효율성을 제공한다. 또, NPU(신경망 처리 장치)는 처음부터 저전력으로 AI 추론을 가속화하기 위해 특별히 설계된 ASIC의 일종으로, CPU보다 해당 작업에 더 적합하며, 새로운 AI 알고리즘, 모델 및 사용 사례의 개발과 함께 아키텍처가 발전해 왔다.

AI 워크로드는 주로 스칼라, 벡터, 텐서 수학으로 구성된 신경망 레이어와 비선형 활성화 함수를 계산하는 것으로 구성된다. 우수한 NPU 설계는 이러한 AI 워크로드를 처리하는 데 올바른 설계로 AI 산업의 방향과 긴밀히 연계되어 있다.

마지막으로 ▷모델 압축 기법: 엣지 기기는 일반적으로 메모리와 처리 능력에 제약을 받기 때문에 정확도와 성능을 유지하면서 모델을 압축하는 것이 필수적이다. 현재 가장 인기 있는 AI 압축 기법들은 가지치기(Pruning), 양자화(Quantization), 지식 증류(Knowledge distillation), 저계수 분해(Low-rank factorization)가 있다.

가지치기는 AI 모델에서 불필요하거나 상대적으로 중요하지 않은 파라미터를 제거하여 효율성과 속도를 향상시키고 메모리 요구사항을 줄이면서도, 성능 저하를 최소화한다.

양자화는 모델 내의 수치 정밀도를 줄여 메모리 부담을 줄이고, 모델의 추론 속도와 에너지 효율성을 향상시킨다. 지식 증류는 모델이 가진 지식을 행동과 성능을 모방할 수 있는 간결한 모델로 옮긴다. 저계수 분해는 고차원 데이터를 저차원 표현으로 분해하여 압축함으로써, 식별 가능한 특성을 유지하면서 복잡한 신경망 모델을 단순화한다.

클라우드 기반 컴퓨팅에 대한 의존도를 줄이기 위한 엣지 AI 사용

엣지 AI가 클라우드 컴퓨팅을 완전히 대체하지는 못하지만, 클라우드와 조화롭게 작동할 수 있는 엣지 디바이스는 신뢰할 수 있는 컴퓨팅 성능으로 더 빠르고 효율적이며 고도로 최적화된 AI를 제공한다.

특히, 데이터의 양이 급증함에 따라 엣지 AI가 제공하는 효과를 무시할 수 없다. 엣지 AI의 실시간 처리와 의사결정 능력은 지연 시간을 줄이고, 전력 사용과 클라우드 처리 비용을 절감하는 등 중요한 장점을 가지고 있다.

데이터를 로컬에서 처리함으로써 클라우드로 전송되는 원시 데이터의 양을 줄일 수 있다. 클라우드 서비스는 여전히 특정 분야에서 중요한 역할을 수행하지만, 엣지 기기에서의 데이터 처리는 클라우드 서비스의 성능을 더욱 향상시킬 수 있다.

이제, 인터넷에 상시 연결 및 의존할 필요가 적어지면 엔지니어는 다양한 산업에서 엣지 AI 모델을 보다 효율적으로 구현할 수 있으며 이미, 19개 산업과 6개 기술 영역에 걸쳐 400개 이상의 엣지 컴퓨팅 활용 사례가 있다. 엣지 기기에 통합된 AI 모델은 자동차 및 의료와 같은 일부 응용 분야에서 큰 차이를 발생시킬 잠재력을 갖는다.