글로벌 데이터 클라우드 기업 스노우플레이크(Snowflake)가 지난 26일부터 29일까지 미국 라스베이거스에서 열린 연례 사용자 컨퍼런스 '스노우플레이크 서밋 2023'에서 지난해 9월 인수한 애플리카(Applica)의 생성 AI 기술로 구축한 대규모 언어 모델(LLM) ‘도큐먼트 AI(Document AI)’를 공개했다.

이를 통해 고객이 문서를 이해하고 비정형 데이터를 쉽고 빠르게 활용할 수 있도록 했다.

또한 스노우플레이크는 ‘아이스버그 테이블(Iceberg Table)’을 통해 개방형 테이블 포맷을 사용, 스노우플레이크 카탈로그에 있는 데이터와 다른 카탈로그 데이터를 통합적으로 관리하고, 기능을 강화해 조직 내 데이터 사일로를 없애도록 했다.

뿐만 아니라 스노우플레이크 성능 지수(SPI)를 도입해 스노우플레이크 플랫폼의 성능에 대한 메트릭스를 제공하며 지속적으로 자사 플랫폼의 가격 대비 성능을 개선하고 있다. 실제 안정적으로 운영하고 있는 고객의 메트릭스를 8개월간 추적한 결과, 고객 워크로드 쿼리 시간을 15% 단축하는 결과를 도출했다.

피델리티 인베스트먼츠 미히르 샤(Mihir Shah) CIO 겸 데이터 아키텍처 및 엔지니어링 담당 엔터프라이즈 책임자는 “모든 CIO는 조직의 데이터를 한 곳에 모아두기를 원하는데 스노우플레이크의 단일 데이터 플랫폼은 이를 실현한다”며 “스노우플레이크 단일 플랫폼을 통해 사일로를 없애고 핵심 이해 관계자가 데이터를 더 쉽게 관리할 수 있도록 접근 권한을 설정해, 궁극적으로 고객이 이 플랫폼을 통해 더 많은 가치를 얻을 수 있도록 한다”고 전했다.

매일 4000만 명의 고객에게 서비스를 제공하는 글로벌 금융 기관 피델리티 인베스트먼츠(Fidelity Investments)도 고객사로 전 세계 6만 8000명 이상의 직원들이 스노우플레이크의 단일 데이터 플랫폼을 사용하고 있다.

IDC 최근 자료에 따르면 향후 5년 간 전 세계 데이터의 90% 이상이 문서, 이미지, 비디오, 오디오 등의 형태를 지닌 비정형 데이터다. 과거에는 방대한 양의 비정형 데이터에서 의미 있는 인사이트를 얻으려면 오류가 발생하기 쉬운 수동 프로세스를 이용했지만, 비정형 데이터를 지원하는 스노우플레이크의 빌트인 LLM인 ‘도큐먼트 AI’를 이용하면 자연어 처리를 통해 오류없이 문서에서 쉽게 인사이트를 추출할 수 있다.

‘도큐먼트 AI’는 애플리카 기반의 멀티모달(multimodal) LLM을 활용했다. 조직은 스노우플레이크 플랫폼 내에서 멀티모달 LLM을 통합해 문서에서 필요로 하는 콘텐츠를 쉽게 추출하고 비주얼 인터페이스 및 자연어를 사용해 결과를 정교하게 조정할 수 있다.

고객들은 조직이 비즈니스를 더 스마트하게 운영하고 확장 가능한 방식으로 생산성을 높이기 위해 ‘도큐먼트 AI’를 사용하고 있다. ‘도큐먼트 AI’를 시작으로 스노우플레이크는 더 많은 유형의 비정형 데이터를 지원할 예정이다. (아래는 Snowflake의 LLM 도큐먼트 AI 시연 영상)