구글의 '버텍스 AI(Vertex AI)'는 특성 추출부터 모델 학습과 저지연 추론에 이르기까지 데이터 과학자와 AI 개발자가 인공지능(AI) 애플리케이션을 더 쉽게 통합하고 모델의 배포 및 유지 관리를 가속화 할 수 있는 관리형 머신러닝(ML) 플랫폼으로 2021년 5월에 발표(보기)되었다.

버텍스 AI는 필요한 모든 도구를 갖춘 단일 플랫폼으로 특별히 머신러닝 학습을 필요로 하지 않고 데이터, 프로토타입, 테스트, 모델 배치, 모델 해석 및 생산 모니터링을 할 수 있다. 즉, 기본 지식만 있으면 누구나 이 툴을 사용해 머신러닝 모델을 구현하고 배포할 수 있다.

그동안 구글은 수백 가지의 새로운 기능을 더해갔다. 여기에, 생성 인공지능(Generative AI)에 대응을 위해 지난달 30일, 버텍스 AI는 지금까지 중에서 가장 큰 규모의 업데이트를 진행하고 다양한 생성 AI 모델을 활용할 수 있는 가장 간단한 방법을 제시하고 엔드 투 엔드 머신러닝 플랫폼에 직접 빌드한 생성 AI의 강력한 기능을 이용할 수 있게 된 것이다.

Vertex AI의 생성형 AI 지원

생성 AI의 잠재력을 완전히 발휘하려면 모든 개발자, 기업 및 정부가 사용할 수 있도록 지원해야 한다. 그러나 생성 AI에 액세스하고 비즈니스 사용 사례를 위한 기반 모델을 맞춤설정하는 것은 여전히 어려운 일이다. 이러한 대규모 모델을 프로덕션 환경에서 관리하는 것은 고급 툴킷, 수많은 데이터, 전문 기술, 훨씬 더 많은 시간을 필요로 하는 까다로운 작업이기 때문이다.

버텍스 AI의 생성 AI 지원을 통해 개발자와 연구자들는 간단한 사용자 인터페이스로 기반 모델에 보다 쉽게 액세스하여 이를 맞춤설정하고 배포할 수 있다. 특히, 다양한 도구와 자동화된 워크플로를 비롯하여 시작하는 데 도움이 되는 여러 솔루션을 제공한다. 일단 배포하면 버텍스 AI의 엔드 투 엔드 MLOps 기능과 완전 관리형 AI 인프라를 사용하여 프로덕션 환경에서 기반 모델을 확장, 관리, 통제할 수 있다.

또한, 버텍스 AI는 최근에 '모델 가든(Model Garden-보기)'과 '생성 AI 스튜디오(Generative AI Studio-보기)' 두 가지 새로운 기능을 추가했다. (아래는 Vertex AI에서 생성 AI 지원으로 기초 모델 구축, 조정 및 배치 개요)

먼저, ▷모델 가든은 구글의 자체 기반 모델은 물론, 수백 개의 서드 파티 오픈소스 모델을 즉시 검색 및 탐색하고 이와 상호작용할 수 있는 단일 환경을 제공한다. 사용자는 텍스트 모델에 액세스할 수 있을 뿐만 아니라, 구글의 멀티모달 모델에 액세스하여 비전, 대화, 코드 생성, 코드 완성 전반에 걸쳐 차세대 애플리케이션을 빌드할 수도 있다.

구글은 AI 스택의 모든 수준에서 선택권을 제공하기 위해 노력하고 있습다. 이것이 바로 모델 가든이 오픈소스 파트너와 AI 파트너 생태계의 모델을 모두 포함하고 있는 이유다. 다양한 모델 유형 및 크기를 한 곳에서 이용할 수 있기 때문에 고객의 비즈니스 니즈에 맞춰 최고의 리소스를 사용할 수 있는 유연성을 제공한다.

사용자는 모델 가든을 통해 모델을 API로 바로 사용하거나, 생성형 AI 스튜디오에서 모델을 미세 조정하거나 Vertex AI의 데이터 과학 노트북으로 모델을 직접 배포하는 등 다양한 워크플로를 시작할 수 있다.

▷생성 AI 스튜디오는 개발자와 데이터 과학자가 기반 모델과 상호작용하고 기반 모델을 미세 조정 및 배포할 수 있는 Vertex AI의 관리형 환경이다. 생성 AI 스튜디오는 채팅 인터페이스, 프롬프트 설계, 프롬프트 미세 조정, 모델 가중치 미세 조정 등 다양한 기능을 제공한다.

생성 AI 스튜디오에서 사용자는 새롭게 미세 조정된 모델을 애플리케이션에 직접 구현하거나 모델을 버텍스 AI의 머신러닝 플랫폼에서 프로덕션 환경에 배포할 수 있다.

애플리케이션 개발자와 데이터 과학자가 생성 AI를 빌드하는 데 기여하도록 지원하는 두 가지 도구를 통해 조직은 차세대 애플리케이션을 프로덕션 환경에 더 빠르고 확실하게 배포할 수 있다.

Vertex AI에서 기반 모델과 상호작용하는 5가지 방법

▷기반 모델을 API로 사용: 구글의 기반 모델을 텍스트, 대화, 코드 생성 및 완료, 이미지 생성, 임베딩 등의 API로 사용할 수 있도록 만들고 있다. 버텍스 AI의 관리형 엔드포인트를 사용하면 다른 구글 클라우드 API처럼 코드 몇 줄만으로 애플리케이션에 생성형 기능을 쉽게 빌드할 수 있다. 개발자는 스토리지 및 컴퓨팅 리소스를 프로비저닝하거나 추론을 위해 모델을 최적화하는 복잡한 과정에 대해 걱정할 필요가 없다. 

▷프롬프트 설계: 생성 AI 스튜디오는 프롬프트 설계, 즉 기반 모델에 정보를 제공하기 위해 텍스트 입력 또는 프롬프트를 수동 생성하는 프로세스에 사용하기 쉬운 인터페이스를 제공한다. 채팅과 비슷한 익숙한 경험을 통해 많은 사람이 개발자의 전문 기술 없이도 모델과 상호작용할 수 있다.

사용자는 채팅 인터페이스를 이용하는 데서 더 나아가 직접 시스템을 구성할 수도 있다. 예를 들어, 응답의 정도를 조절할 수 있어 응답의 정확성과 창의성 수준을 제어할 수 있는 것이다.

▷프롬프트 미세 조정(Prompt tuning): 프롬프트 미세 조정은 재학습 없이 기반 모델을 맞춤설정할 수 있는 효율적인 방법이다. 프롬프트는 프로그래밍 언어가 아닌 자연어를 사용하여 유용한 출력을 생성하도록 모델을 가이드하는 방법으로 생성 AI 스튜디오에서는 모델이 특정 방식으로 작동하도록 유도하는 데 사용되는 사용자 데이터를 쉽게 업로드할 수 있다.

예를 들어, 대규모 언어 모델(LLM) 중 하나인 PaLM(경로를 통한 언어 모델링 확장/PaLM: Scaling Language Modeling with Pathways-다운) 언어 모델을 업데이트하여 자사 브랜드의 음성으로 말하도록 하려면 브랜드 문서, 트윗, 보도 자료를 비롯한 기타 애셋을 생성형 AI 스튜디오에 업로드하기만 하면 된다.

▷파인튜닝(Fine-tuning): 생성 AI 스튜디오의 미세 조정은 고도로 차별화된 생성형 AI 제품을 빌드하려는 조직에 매우 적합한 옵션이다. 미세 조정은 선행 학습된 모델에 새로운 데이터를 추가로 학습시켜 모델의 가중치를 변경하는 프로세스다.

이 프로세스는 법률 또는 의학 용어와 같이 전문적인 결과의 출력이 필요한 사용 사례에 유용하다. 버텍스 AI 생성형 AI 스튜디오에서 사용자는 대규모 데이터 세트를 업로드하고 버텍스 AI 학습을 사용하여 모델을 재학습시킬 수 있다.

또한, 보호된 원칙 밖에서 가중치의 변화를 노출하지 않고 모델을 미세 조정할 수 있는 기능을 제공한다. 이를 통해 데이터에 대한 통제력을 잃지 않고 기반 모델의 강점을 활용할 수 있다.

▷비용 최적화: 구글은 몇 년간 이러한 모델을 프로덕션 워크로드에서 실행해 왔으며, 그 기간 동안 비용에 대한 예측을 최적화하기 위한 몇 가지 기술을 개발했다. 제공하는 기술 중 최적화된 모델 선택(OMS)은 모델에 무엇이 요청되고 있는지 살펴보고 요청에 효과적으로 대응할 수 있는 가장 작은 모델로 요청을 라우팅한다. 사용 설정하면 백그라운드에서 실행되고 여러 조건에 따라 호출된다. 

한편, 이 새로운 비즈니스용 생성 AI 솔루션은 현재 사용할 수 있으며, 구글 클라우드의 신뢰할 수 있는 테스터 프로그램에서 일부 개발자에게 대기자 등록 후 제공(보기)하고 있다.