생성 인공지능(Generative AI) 혁명이 시작되었다. 다양한 요구사항과 컴퓨팅 수요가 있는 다양한 업종에서 생성 AI에 대한 수요가 증가함에 따라 AI를 위해 맞춤 설계된 새로운 컴퓨팅 아키텍처에 대한 필요성이 분명해졌다.

이 아키텍처는 처음부터 생성 AI를 위해 설계된 신경처리장치(Neural Processing Unit, NPU)로 시작하여 중앙처리장치(Central Processing Unit, CPU) 및 그래픽 처리 장치(Graphics Processing Unit, GPU)와 같은 이기종 프로세서의 조합을 활용한다. 이종 컴퓨팅은 NPU와 함께 적절한 프로세서를 사용함으로써 새롭고 향상된 생성 AI 경험을 가능하게 하는 애플리케이션 성능, 열 효율성 및 배터리 수명을 극대화한다.

이기종 컴퓨팅이 중요한 이유는

생성 AI의 다양한 요구사항과 연산 수요로 인해 다양한 프로세서가 필요하다. 처리 다양성을 갖춘 이기종 컴퓨팅 아키텍처는 각 프로세서의 강점, 즉 각기 다른 작업 영역에서 뛰어난 CPU 및 GPU와 함께 AI 중심의 맞춤형 설계된 NPU를 활용할 수 있는 기회를 제공한다. 예를 들어, 순차적 제어 및 즉시성을 위한 CPU, 병렬 데이터 스트리밍을 위한 GPU, 스칼라, 벡터 및 텐서 수학을 사용하는 핵심 AI 워크로드에 NPU를 사용할 수 있다.

이기종 컴퓨팅은 애플리케이션 성능, 디바이스 열 효율, 배터리 수명을 극대화하여 생성 AI 최종 사용자 경험을 극대화한다.

NPU란?

NPU는 처음부터 저전력으로 AI 추론을 가속화하기 위해 설계되었으며, 새로운 AI 알고리즘, 모델 및 사용 사례의 개발과 함께 아키텍처가 발전해 왔다. AI 워크로드는 주로 스칼라, 벡터, 텐서 수학으로 구성된 신경망 레이어와 비선형 활성화 함수를 계산하는 것으로 구성된다. 우수한 NPU 설계는 이러한 AI 워크로드를 처리하는 데 올바른 설계로 AI 산업의 방향과 긴밀히 연계되어 있다.

선도적인 NPU 및 이기종 컴퓨팅 솔루션

퀄컴(Qualcomm Technologies)은 모든 곳에서 인텔리전트 컴퓨팅을 구현하고 있다. 업계를 선도하는 퀄컴 헥사곤 NPU(Hexagon NPU)는 저전력으로 고성능 AI 추론을 지속할 수 있도록 설계되었다. 시스템 접근 방식, 맞춤형 설계, 빠른 혁신이 NPU의 차별화 요소다. NPU를 맞춤 설계하고 명령어 세트 아키텍처(ISA)를 제어함으로써 병목 현상을 해결하고 성능을 최적화하기 위해 설계를 빠르게 발전 및 확장할 수 있다.

헥사곤 NPU는 동급 최고의 이기종 컴퓨팅 아키텍처인 퀄컴 AI 엔진의 핵심 프로세서로 퀄컴 아드레노 GPU, 퀄컴 크라이오(Qualcomm Kryo) 또는 퀄컴 오리온 CPU, 퀄컴 센싱 허브 및 메모리 서브시스템도 포함한다. 이러한 프로세서는 함께 작동하여 디바이스에서 AI 애플리케이션을 빠르고 효율적으로 실행하도록 설계되었다.

AI 벤치마크와 실제 생성 AI 애플리케이션에서 업계를 선도하는 성능이 이를 입증했다. NPU, 기타 이기종 프로세서, 스냅드레곤 8 3세대(Snapdragon 8 Gen 3) 및 스냅 드래곤 X 엘리트(Snapdragon X Elite)의 업계 최고의 AI 성능과 NPU와 이기종 컴퓨팅으로 온디바이스 생성 AI 활용에 대한 자세한 내용은 백서(Unlocking on-device generative AI with an NPU and heterogeneous computing-다운)'을 참고하면 된다.

개발자가 생성 AI 애플리케이션을 가속화할 수 있도록 지원

퀄컴과 스냅드래곤 플랫폼으로 구동되는 전 세계 수십억 개의 디바이스에서 개발 및 배포의 용이성에 초점을 맞춰 개발자를 지원한다. 개발자는 퀄컴 AI 스택(Qualcomm AI Stack-다운)을 사용하여 하드웨어에서 AI 애플리케이션을 생성, 최적화 및 배포할 수 있으며, 한 번만 작성하면 칩셋 솔루션을 사용하여 다양한 제품 및 세그먼트에 걸쳐 배포할 수 있다.

온디바이스 AI는 더 유능하고, 비용 효율적이며, 신뢰할 수 있고, 프라이빗하고, 안전하며, 미래로 나아갈 수 있는 원동력이 된다. 클라우드 AI와 조화롭게 작동할 수 있는 엣지 디바이스는 신뢰할 수 있는 컴퓨팅 성능으로 더 빠르고 효율적이며 고도로 최적화된 AI를 제공한다.