생성 AI는 산업을 혁신하고 비즈니스 운영을 변화시키는 혁신적인 기술이지만, 그 성공 여부는 데이터에 달려 있다. 데이터는 머신러닝 알고리즘이 학습하고, 근거를 마련하고, 예측하고, 시간이 지남에 따라 성능을 개선하는 기반이 되기 때문에 AI에 있어 매우 중요하다.

따라서 많은 기업과 최고정보책임자(CIO)들은 데이터를 통합하고 혁신을 위해 "최신 AI와 최고의 데이터 도구를 적용하고 있는가?" 라는 질문을 던지고 있다. 즉, 생성형 AI를 활용하는 기업에서 핵심 과제는 형식에 관계없이 모든 유형의 데이터에 액세스, 관리 및 활성화 할 수 있는 능력인 것이다.

구글의 최신 연구 보고서 '2024 구글 데이터 및 AI 트렌드(Google Data and AI Trends Report 2024)에 따르면 데이터 의사 결정권자의 84%는 생성 AI가 조직이 인사이트에 더 빠르게 액세스할 수 있도록 도울 것이라고 믿는다. 

그러나 응답자의 80% 이상이 데이터와 AI 역할 사이의 경계가 모호해지기 시작했으며, 많은 데이터 분석가가 전통적으로 데이터 과학자의 전유물이었던 기능을 활용하거나 그 반대의 경우도 모색하고 있다는 데 동의하는 등 도전 과제도 존재한다. 예를 들어, 데이터 분석가는 인사이트 향상을 위해 머신러닝이 필요하고 데이터 과학자는 AI 모델 학습을 위해 더 광범위한 엔터프라이즈 데이터 세트가 필요한 것이다.

이 가운데 구글 클라우드는 조직이 진화하는 비즈니스 요구 사항을 충족할 수 있도록 지원하기 데이터를 통합하고 혁신적인 AI와 결합하여 혁신적인 경험을 할 수 있도록 지원하는 데 중점을 두고 빅쿼리(BigQuery)와 포스트그레SQL(PostgreSQL)용 알로이 DB(Alloy DB)에 차세대 생성 AI 기술 지원을 기반으로 데이터와 AI의 유기적인 결합과 원활한 서비스 개발을 지원하는 '스마트 애널리틱스(Smart Analytics)' 기술 혁신을 지난 1일(현지시각) 발표했다.

이날 발표한 주요 내용 및 기능은 빅쿼리에서 광범위한 작업에 걸쳐 확장할 수 있는 제미나이 1.0 프로(Gemini 1.0 Pro) 지원, 빅쿼리에 버텍스 AI(Vertex AI)의 텍스트(t 및 음성 분석 기능 통합, 빅쿼리 벡터 검색(vector search), 알로이 DB AI의 정식 버전(GA) 출시, 랭체인(LangChain)과 통합 지원 등으로, 기업이 데이터와 AI를 결합해 데이터의 활용 범위를 확장하고 데이터를 기반으로 새로운 인사이트를 제공받을 수 있도록 지원한다.

BigQuery에서 강력한 생성형 AI 모델 지원

구글 클라우드는 빅쿼리와 버텍스 AI(Vertex AI)의 유기적인 통합 기술을 통해 빅쿼리에서 제미나이 1.0 프로 모델을 활용할 수 있도록 지원한다. 이를 기반으로 데이터 엔지니어와 데이터 분석가는 빅쿼리 데이터에 대한 멀티모달 및 고급 추론을 위해 제미나이 모델을 활용할 수 있게 됐다. 이를 통해 의료 서비스 제공자는 환자 치료를 개선하고, 공급망 효율화, 통신, 리테일 및 금융 서비스에 대한 고객 참여도 개선 등에 활용할 수 있다.

또한 구글 클라우드는 버텍스 AI의 텍스트 및 음성 분석 기능을 빅쿼리와 통합해, 프리뷰 버전으로 사용할 수 있다고 밝혔다. 이를 통해 빅쿼리 고객은 문서, 오디오 파일 등의 비정형 데이터에서 인사이트를 도출하고 비정형 데이터와 정형 비즈니스 데이터를 결합하는 새로운 분석 시나리오를 구현할 수 있게 됐다.

예를 들어, 데이터 분석가는 고객과의 콜센터 통화 녹음본에서 인사이트를 얻고 이를 정형 비즈니스 데이터와의 통합 분석에 활용해 고객 경험을 개선시킬 수 있다. 뿐만 아니라 빅쿼리 고객은 최근 발표된 빅쿼리 벡터 검색 기능을 이용해 빅쿼리 데이터에 대한 벡터 유사성 검색과 추천 쿼리를 제공받을 수 있다.

벡터 검색은 시맨틱 검색(Semantic search), 유사성 검색, 대형언어모델(LLM)을 사용한 검색증강생성(retrieval-augmented generation, RAG) 등 수많은 새로운 데이터 및 AI 이용 사례의 기반이 되는 핵심 기능이다. 이를 통해 소매업체는 제품 추천을 개선하고, 반복되는 고객 지원에 대한 대응사항을 요약하거나, 다양한 도메인의 대규모 문서 세트에서 실용적인 인사이트를 발견하는 데 도움을 받을 수 있다.

알로이 DB: 생성 AI 시대를 위한 최신 데이터베이스

풍부한 애플리케이션 데이터의 운영 데이터베이스(operational databases)는 개발자의 새로운 AI 지원 사용자 경험 구축에 핵심 역할을 한다. 구글 클라우드는 데이터베이스 내 임베딩 생성, 벡터 검색을 비롯해 개발자가 데이터 기반 생성형 AI 앱을 더 빠르게 구축하는 데 도움이 되는 도구 및 프레임워크 지원 등 데이터베이스 제품 전반에서 주요 AI 및 머신러닝(ML) 지원 기술에 투자하고 있다.

이 일환으로 구글 클라우드는 구글 클라우드 넥스트 2023(Next ’23)에서 발표한 알로이 DB AI를 오늘 정식 버전으로 출시한다고 발표했다. 개발자는 알로이 DB AI를 통해 뛰어난 성능과 확장성을 자랑하는 생성형 AI 애플리케이션과 AI 서비스에 연결해 정확한 최신 정보를 제공하는 벡터 기능을 구축할 수 있다.

이와 더불어 구글 클라우드는 알로이 DB에서 벡터 검색 기능을 지원해 개발자가 데이터를 기반으로 엔터프라이즈용 생성형 AI 애플리케이션 구축을 돕고, 구글 클라우드의 데이터베이스 포트폴리오 전반에 랭체인과의 통합 개발환경을 제공해 개발 속도와 상호운용성을 높여준다.

아울러 생성형 AI 분야에서 개인정보 보호의 중요성이 강조되고 있는 만큼, 구글 클라우드는 구글의 엄격한 개인정보 보호 약속을 통해 이용자 데이터를 보호하고 개인정보 보호를 최우선하고 있다.

엄경순 구글 클라우드 코리아 커스터머 엔지니어링 총괄은 “기업의 성공적인 생성형 AI 도입은 기업 내 여러 분석 및 운영 시스템에서 정형 및 비정형 데이터에 액세스하고, 관리하며, 활성화하는 능력에 달려 있다”며 “구글 클라우드의 통합 데이터 클라우드 포트폴리오의 AI 지원 기술 업데이트를 통해 고객이 클라우드 환경에서 데이터를 기반으로 새로운 인사이트를 얻고, 생성형 AI를 보다 적극적으로 활용할 수 있도록 지원할 것”이라고 말했다.

한편, '조직 전반에서 생성 AI를 활용, 인사이트 제공 속도 향상', '데이터와 AI의 역할이 모호해질 것' 등 5가지 최신 트렌드에 대한 구글의 최신 연구 보고서 '2024 구글 데이터 및 AI 트렌드(Google Data and AI Trends Report 2024-다운)는 간단한 등록을 통해 다운로드할 수 있다.