생성 인공지능(Generative AI) 채택이 기록적인 속도로 증가하고 컴퓨팅 요구가 증가함에 따라 하이브리드 처리가 그 어느 때보다 중요해졌다.

기존 컴퓨팅이 메인프레임과 클라이언트의 성능을 강화하기 위해 서버에서 처리하는 방식 씬 클라이언트(Thin Clients)에서 클라우드와 엣지 디바이스의 조합으로 진화한 것처럼 AI가 확장되고 잠재력을 최대한 발휘하려면 클라우드와 디바이스 간에 AI 프로세싱이 분산되어야 한다.

하이브리드 AI (Hybrid AI) 아키텍처는 클라우드에서만 처리하는 것이 아니라 클라우드와 엣지 장치 간에 AI 워크로드를 분산하고 조정한다. 클라우드 및 엣지 장치(스마트폰, 자동차, 개인용 컴퓨터 및 IoT 장치)는 함께 작동하여 보다 강력하고 효율적이며 고도로 최적화된 AI를 제공한다.

여기서 가장 큰 동기는 비용 절감이다. 예를 들어, 생성 AI 기반 검색 쿼리당(질의당) 비용은 기존 검색 방식에 비해 10배 정도 증가할 것으로 추정되며, 이는 수많은 생성 AI 애플리케이션 중 하나에 불과하다.

하이브리드 AI를 통해 생성 AI 개발자와 제공업체는 엣지 디바이스에서 사용할 수 있는 컴퓨팅 기능을 활용하여 비용을 절감할 수 있다. 하이브리드 AI 아키텍처(또는 디바이스 내에서만 AI를 실행)는 글로벌 규모로 성능, 개인화, 개인 정보 보호 및 보안의 추가적인 이점을 제공할 수 있다.

이러한 아키텍처에는 모델 및 쿼리 복잡성과 같은 요인에 따라 클라우드와 장치 간에 처리를 분산하는 다양한 오프로드 옵션이 있을 수 있다. 예를 들어 모델 크기, 프롬프트 및 생성 길이가 특정 임계값보다 작고 허용 가능한 정확도를 제공하는 경우 추론이 디바이스에서 완전히 실행될 수 있다. 작업이 더 복잡하다면 클라우드와 디바이스 전반에서 모델을 실행할 수 있다. 

하이브리드 AI를 사용하면 디바이스와 클라우드에서 동시에 모델을 실행할 수도 있다. 디바이스는 가벼운 버전의 모델을 실행하고 클라우드는 전체 모델의 여러 토큰을 병렬로 처리하고 필요한 경우 디바이스의 응답을 수정한다.

엣지 디바이스로 생성 AI 확장

하이브리드 AI의 잠재력은 강력한 생성 AI 모델이 더 작아지고 온디바이스 처리 기능이 지속적으로 향상됨에 따라 더욱 커지고 있다. 매개변수가 10억 개 이상인 AI 모델은 이미 클라우드와 유사한 성능 및 정확도 수준으로 휴대폰에서 실행되고 있으며, 가까운 시일 내에 100억 개 이상의 매개변수를 가진 모델이 디바이스에서 실행될 예정이다.

이처럼 하이브리드 AI 접근 방식은 스마트폰, 노트북, 확장 현실 헤드셋, 자동차 및 IoT를 포함한 거의 모든 생성 AI 애플리케이션 및 디바이스 세그먼트에 적용할 수 있다. 이 접근 방식은 생성 AI가 전 세계적으로 기업과 소비자의 요구를 확장하고 충족하는 데 매우 중요한 것이다.

한편, 이 내용은 퀄컴(Qualcomm)이 16일(현지시간) 발표한 연구보고서 'AI의 미래는 하이브리드입니다(The future of AI is hybrid-다운).'를 요약했으며, 더 자세한 내용은 원본을 참고하면 된다.