미국에서 시장 점유율 28 %로 우버(Uber) 다음으로 두 번째로 큰 공유기업인 리프트(Lyft)는 자사의 클라우드 네이티브 머신러닝 및 데이터 처리 플랫폼 '플라이트(Flyte)'를 지난 10일(현지시간)부터 오픈 소스로 제공한다.

이 플랫폼은 가격, 위치, ETA, 지도 작성 및 자율 주행 등을 위한 모델 학습 및 데이터 처리를 위해 약 3 년 동안 사내에서 사용하고 있었다.

플랫폼은 팀이 별도의 리포지토리에서 작업하고 나머지 플랫폼에 영향을 주지 않고 배포할 수 있는 호스팅 된 다중 테넌트(multi-tenant) 서비스이다.

코드는 그 의존성에 따라 버전이 지정되고 컨테이너 화 되므로 모든 실행을 재현할 수 있다. 또 쿠버네티스(Kubernetes)에 직접 구축되었으며, 플랫폼에서 애플리케이션을 개발하기 위한 파이썬(Python) SDK 인 플라이트키트(Flytekit)가 제공된다.

플랫폼은 하드웨어 프로비저닝, 예약, 데이터 저장 및 모니터링을 포함한 복잡한 워크플로 실행과 관련된 모든 오버 헤드를 처리하도록 설계되었다. 오버 헤드를 고려하면 개발자는 워크플로 논리 작성에 집중할 수 있으며, 이러한 오버 헤드를 추상화하여 머신러닝 및 데이터 처리를 위한 개발 속도를 높일 수 있다.

모든 플라이트 작업과 워크 플로우에는 강력한 입력과 출력이 있다. 이를 통해 워크 플로우를 매개 변수화하고, 풍부한 데이터 계보를 보유하고, 사전 계산 된 아티팩트(Artifact)의 캐시 된 버전을 사용할 수 있다.

예를 들어, 하이퍼 파라미터 최적화를 수행하는 경우 각 실행마다 다른 매개 변수를 쉽게 호출할 수 있다. 실행은 이전 실행에서 이미 계산 된 작업을 호출하며 플라이트는 캐시 된 출력을 현명하게 사용하여 시간과 비용을 절약한다.

한편, 리프트는 현재 플라이트를 사용하여 7,000 개 이상의 고유한 워크 플로우를 관리하고 있으며 매월 총 10 만 건 이상의 실행, 1 백만 개의 작업 및 1 천만 개의 컨테이너를 관리하고 있다.

참고) 공개된 '클라우드 네이티브 머신러닝 및 데이터 처리 플랫폼(다운받기)'