페이스북 AI와 아마존 웹 서비스(AWS)는 파이토치(PyTorch) 머신러닝 라이브러리를 기반으로 하는 새로운 모델 서비스 프레임워크 '토치서브(TorchServe)'를 사용할 수 있다고 지난 21일(현지시간) 공개했다.

파이토치 오픈 소스 프로젝트의 일환으로 사용할 수 있는 새로운 '토치서브(TorchServe)'는 사용자 지정 코드 없이도 규모에 맞게 파이토치 머신러닝 모델을 배치하기 위해 특별히 제작된 프레임워크이다.

일반적으로 모델 배포 프로세스를 단순화 하는 한 가지 방법은 모델 서버를 사용하는 것이다. 즉, 프로덕션에서 머신러닝 추론을 제공하도록 특별히 설계된 상용 웹 응용 프로그램을 사용하는 것으로 모델 서버를 사용하면 하나 이상의 모델을 쉽게 로드할 수 있으므로 확장 가능한 웹 서버가 지원하는 추론 API가 자동으로 생성된다.

또한 추론에서 사전 처리 및 사후 처리 코드를 실행할 수 있으며 모델 서버는 로깅, 모니터링 및 보안과 같은 프로덕션 핵심 기능도 제공한다. 인기 있는 모델 서버로는 텐서플루 서빙(TensorFlow Serving) 및 멀티 모델 서버(Multi Model Server) 등이 있다.

파이토치는 딥러닝을 위한 가장 인기 있는 오픈 소스 라이브러리 중 하나로 개발자들과 연구원들은 특히 모델을 만들고 학습시키는 데 있어서의 유연성을 즐긴다. 하지만 여전히 모델 구축 과정에서 배치하고 관리하는 것은 머신러닝 구현에서 가장 어려운 부분으로 맞춤형 추론 API를 구축하고, 크기를 조정하고, 모델을 보호하는 것 등이 있다.

이제 토치서브(TorchServe)를 사용하면 낮은 지연 시간의 추론 API를 제공할 뿐만 아니라 객체 탐지 및 텍스트 분류와 같은 가장 일반적인 응용 프로그램을 위한 기본 핸들러를 포함하여 사용자 지정 코드를 작성할 필요 없이 모델을 보다 신속하게 배포할 수 있게 된 것이다.

토치서버는 멀티 모델 서비스, A4B테스트를 위한 모델 버전, 모니터링 메트릭 및 응용 프로그램 통합을 위한 RESTful endpoints를 포함하며, Amazon SageMaker, 컨테이너 서비스 및 Amazon Elastic Compute Cloud (EC2)를 비롯한 모든 컴퓨터 학습 환경을 지원한다.

토치서버 설치는 먼저 AWS 딥러닝 AMI(Ubuntu edition)를 실행하는 CPU 기반 Amazon Elastic Compute Cloud (EC2) 인스턴스를 시작한다. 이 AMI에는 필요한 몇 가지 종속성이 사전 설치되어 있으므로 설정 속도가 빨라진다. 물론 모든 AMI를 대신 사용할 수 있으며, 토치서버는 자바로 구현되어 있으며 이를 실행하려면 최신 OpenJDK가 필요하다.

현재, 머신러닝 새로운 모델 서비스 프레임워크 '토치서브(TorchServe)'은 깃허브(다운)에 오픈돼 있다.