엔비디아가 음성과 비전 AI 애플리케이션용 인공지능(AI) 모델 생성을 단순화하고 가속화하는 TAO 툴킷(Toolkit)의 최신 버전을 발표했다. 이는 엔비디아 트레인(NVIDIA Train), 어뎁트&옵티마이즈(Adapt and Optimize. 이하, TAO) 프레임워크의 낮은 코드 버전이다.

개발자는 TAO를 통해 전이학습(Transfer Learning)을 쉽게 활용해 오류 감지, 언어 번역 그리고 트래픽 관리를 포함한 광범위한 산업별 사용 사례에 최적화된 맞춤형 생산 준비 모델을 만들 수 있다.

TAO를 이용한 모델 개발을 통해 사용자는 훨씬 적은 데이터로 모델을 최적화할 수 있으므로 구축 시간이 단축된다.

새로운 TAO 툴킷에는 업데이트된 비전과 음성 사전 교육 모델이 포함돼 있으며, ONNX 모델 가중치 가져오기, REST API 그리고 텐서보드(TensorBoard) 통합과 같은 새로운 기능은 개발자의 생산성을 높이고 모델 생성 프로세스를 빠르게 추적하도록 설계됐다.

먼저, 자체 모델 가중치 가져오기에서는 이미지 분류 및 분할을 위해 ONNX 모델에서 사전 훈련된 가중치를 가져와 모델 사용자 지정 속도를 높인다. 사용자 고유의 데이터로 모델을 사용자 정의하고 최적화할 수도 있다.

또한, REST API를 사용하여 쿠버네티스의 최신 클라우드 네이티브 인프라에 서비스형 TAO 툴킷을 구축하여 새로운 AI 서비스를 구축하거나 기존 서비스에 통합할 수 있으며, 텐서보드에서 교육과 검증 손실, 모델 가중치, 예측 이미지와 같은 스칼라를 시각화하여 모델 교육 성능을 이해한다. 하이퍼 모수를 변경하여 실험 간의 결과를 비교하고 필요에 가장 적합한 것을 선택한다.

사전 훈련된 모델은 더 적은 데이터로 전송 학습의 힘을 통해 미세 조정할 수 있도록 사용자 지정 프로세스를 가속화한다.

최신 버전의 일부 사전 교육 모델은 LIDAR 센서에서 수집한 데이터를 로봇 및 자동차 애플리케이션에 적용하며, 인간의 자세를 기준으로 인간의 행동을 분류한다. 사람, 동물 및 물체에 대한 핵심 사항을 추정하며, 30분 분량의 녹화된 데이터로 맞춤형 음성을 만들 수 있다.

시작 방법은 설명 비디오와 빠른 가이드는 TAO Toolkit 시작 페이지(보기)에서 확인할 수 있다. NGC에서 컴퓨터 비전(다운) 또는 대화형 AI(다운)에서 모델을 다운로드할 수 있으며, Rest API, TensorBoard 및 사전 교육된 모델을 포함한 새로운 기능의 데모 비디오를 시청(보기)할 수 있다.

TAO 툴킷(다운)을 통한 추가 리소스 및 사용 사례로는 엔비디아 Isaac Sim 및 TAO와 함께 AI 기반 로봇을 개발하고 배포(보기)한다. ▷TAO 툴킷으로 동물의 건강과 표현 유형을 탐지(보기)한다. RocketBoots는 자동화된 인력 관리에서 추론 성능(보기)을 향상시킨다. ▷소매 활동 인식 활용 사례에서 개발 노력을 혁신한다.