페이스북은 지난 18일, 19일 양일간 산호세에서 열린 F8 개발자 컨퍼런스에서 인공지능 새로운 학습을 위한 새로운 오픈소스 프레임워크 '카페2(Caffe2)' 를 발표했다. 엔비디아(CEO 젠슨 황)는 공개한 새로운 페이스북의 인공지능 딥러닝 프레임워크인 Caffe2 출시를 계기로 인공지능 발전을 위한 양사 협력의 결과를 발표했다. 

전 세계는 시시각각 수많은 텍스트, 이미지, 영상 등 매일 생성되는 정보들로 넘쳐나고 있다. 페이스북은 이러한 정보 관리를 돕는 새로운 인공지능 시스템을 개발하고 있으며, 이를 통해 정보량이 대규모로 증가하는 상황에서도 사람들이 보다 세상을 보다 잘 이해하고, 효율적으로 커뮤니케이션 할 수 있도록 돕고 있다. 개발자 및 연구원들은 Caffe2를 활용해 대규모 분산 트레이닝 시나리오를 구성하고 사용자 디바이스용 머신러닝 애플리케이션을 개발할 수 있다. 

또한 Caffe2는 기존 파이썬 기반의 페이스북의 라이브러리인 Pytorch와는 조금 다르다. PyTorch는 연구, 실험 및 이국적인 신경망에 매우 적합한 반면에 새로 발표된 Caffe2는 모바일 상에서 인공지능 알고리즘을 구축하고 구동하는 프레임워크에 중점을 두고 더 많은 산업에서 관련 응용 프로그램을 지원하는 방향으로 가고 있다'

그렇다고 PyTorch가 모바일을 수행하지 않거나 확장하지 않거나 Caffe2를 신경 네트워크의 새로운 패러다임과 함께 사용할 수 없다는 것을 말하는 것이 아니라, 이 두 가지의 현재 특성과 방향 중 일부를 짚어본 것이다.

모바일 상에서 인공지능 기반 서비스를 제공하기 위해서는 복잡한 데이터 처리 작업이 순식간에 진행되어야 한다. 이처럼 빠른 인공지능 서비스 처리는 페이스북은 자체 설계한 머신러닝 서버 '빅베이슨(Big Basin)' 서버에서 제공되는 것과 같은 GPU 가속화 컴퓨팅은 물론, 가속화된 하드웨어의 전체 성능을 활용할 수 있을 만큼 높은 수준으로 최적화된 딥러닝 소프트웨어를 함께 요구하는 것이다.

이런 환경적 요구에 엔비디아와 페이스북은 Caffe2 딥러닝 프레임워크 상에서의 공동 작업을 통해 인공지능 가속화를 제공하고 있다. 양사는 공동 엔지니어링을 통해 Caffe2를 그 시작부터 끝까지 세밀하게 조정함으로써, 엔비디아 GPU 딥러닝 플랫폼의 장점을 최대한 활용할 수 있도록 구성했다.

Caffe2는 최신 엔비디아 딥러닝 SDK 라이브러리인 cuDNN, cuBLAS, NCCL을 활용하여 고성능멀티 GPU에 의해 가속되는 트레이닝 및 추론을 제공한다. 이에 따라 사용자들은 Caffe2가 엔비디아 GPU 시스템에서 최적의 성능을 제공한다는 사실을 인지하고, 인공지능 기반 애플리케이션 개발에 집중할 수 있다.

이처럼 Caffe2는 빠르고 확장 가능하며, 이동이 용이한 딥러닝 프레임워크로 설계됐다. Caffe2는 엔비디아 테슬라 P100(Tesla P100) GPU 가속기 64개를 탑재한 8대의 네트워크화된 페이스북 빅베이슨 AI 서버 상에서, 57배로 향상된 처리량 가속화를 기반으로 딥러닝 트레이닝에 거의 선형에 가까운 확장성을 제공한다. 즉, 개발자는 인공지능 모델을 전보다 빠르게 트레이닝하고, 이를 반복할 수 있다.

이번 협업의 일환으로 엔비디아 DGX-1 AI 슈퍼컴퓨터는 딥러닝에 최적화된 소프트웨어 스택에 Caffe2를 제공하는 최초의 인공지능 시스템이 될 전망이다. DGX-1과 Caffe2 모두 높은 성능 및 빠른 트레이닝을 제공한다. 향후 고객들은 엔비디아 DGX-1 컨테이너 레지스트리(DGX-1 Container Registry)를 통해 DGX-1용 Caffe2를 이용할 수 있다.

참고) 페이스북은 Caffe2 문서와 튜토리얼(바로가기)을 발표하고 Caffe2의 소스코드(바로가기)를 GitHub에 업로드하였다.