인공지능을 비즈니스에 도입하고 활용하고자 하는 기업들이 빠른 속도로 증가하고 있으며, 이제 AI는 선택이 아닌 필수 요소로 작용하고 있다.

PwC의 최근 보고서에 따르면 AI는 2030년까지 약 16조 달러의 가치를 창출할 것으로 예상된다. 그러나, 이들 중 많은 기업들이 AI 도입을 확대하는데 데이터 문제로 어려움을 겪고 있다.

또한 IDC 조사 결과, 전 산업군에서 대대적인 디지털 전환이 이뤄지면서 향후 5년간 기업이 보유한 데이터의 양은 250% 이상 증가할 것으로 예상된다. 또한, 데이터들이 사내 서버(온프레미스), 프라이빗 클라우드, 퍼블릭 클라우드, 엣지 등 다양한 환경에 분산되어 있어 공유나 활용이 쉽지 않다.

데이터의 형식이 문서, 이미지, 동영상 등 다양해지고, 데이터의 품질이 오래되고 일관성이 없는 경우도 많아 데이터를 활용하기 위해서는 80%의 시간을 데이터 정리, 통합, 준비하는 데 사용한다는 통계도 있다.

이런 상황에서 기존의 데이터 접근 방식은 오히려 복잡성을 가중시키고 불필요한 비용을 야기하며 AI의 잠재력을 최대한 이끌어내기 어렵게 한다.

여기에, IBM은 기업이 AI를 잘 활용할 수 있도록 지원하기 위해 생성 AI(Generative AI)를 접목한 새로운 데이터레이크하우스 솔루션 'IBM 왓슨x.데이터(watsonx.data)'를 오는 7월 한국을 포함한 전세계 출시한다고 13일, 기자 간담회를 통해 밝혔다

왓슨x.데이터를 사용하면 기업은 쿼리, 거버넌스 및 개방형 데이터 형식으로 데이터에 액세스하고 공유할 수 있는 개방형 레이크하우스 아키텍처에 구축된 목적에 맞는 데이터 저장소를 통해 분석 및 AI를 확장할 수 있으며 단 몇 분 안에 데이터에 연결하여 신뢰할 수 있는 인사이트를 빠르게 얻고 데이터 웨어하우스 비용을 절감할 수 있다.

또한, 왓슨x.데이터는 데이터 웨어하우스의 고성능 처리 기술과 데이터 레이크의 유연성을 함께 제공하는 새로운 데이터 레이크하우스 솔루션으로 정형 데이터와 비정형 데이터를 자유롭게 저장, 활용할 수 있으며, 저렴한 개방형 스토리지를 지원하면서도 높은 성능을 제공한다.

무엇보다 왓슨x.데이터는 기업들이 AI 작업을 확대 적용하는 것을 지원하도록 사내 서버(온프레미스), 클라우드, 멀티 클라우드 등 데이터가 저장된 위치에 상관없이 단일 접속 지점으로부터 모든 데이터에 접근 가능하며, 중앙집중식 거버넌스 및 보안, 자동화 기술을 내장, 데이터를 보호하고, 규정 준수 여부를 관리하며, 신뢰성을 유지한다.

또한 멀티 쿼리 엔진과 스토리지 계층 기술로 AI 및 분석 작업을 최적화하고 데이터 용도에 따라 컴퓨팅 및 저장 공간을 확장 또는 축소하여 기존에 사용하고 있는 데이터 웨어하우스 비용을 50%까지 절감한다.

특히, AI를 통해 비즈니스 가치를 극대화하기 위해서는 데이터 분석가, 데이터 과학자 뿐만 아니라 기업 사용자 누구든 신뢰할 수 있는 고품질의 검증된 데이터를 셀프 서비스로 활용할 수 있게 하는 것이 중요하다. 이를 위해 왓슨x.데이터는 다른 왓슨x 플랫폼 솔루션과 마찬가지로 파운데이션 모델과 생성형 AI를 활용하고 있다.

사용자가 자연어 문장과 질문을 사용하여 필요한 데이터를 활용할 수 있도록 돕는 시맨틱 오토메이션(Semantic Automation)라는 기능이 그 대표적인 예이다. 예를 들어, 사용자가 왓슨x.데이터에 “이 테이블에 거주지 데이터를 추가해줘”라고 말하면 시맨틱 오토메이션의 AI가 후보 테이블을 찾고, 실제로 조건을 충족시키는 테이블 간의 조인 키도 찾아내는 식이다.

이 기술을 통해 사용자는 코딩이나 데이터 엔지니어링 전문 지식 없이도 셀프 서비스 대화 기능을 사용하여 데이터를 쉽게 검색, 보강, 정제할 수 있다. 시맨틱 오토메이션 기술은 2024년 초에 정식 공개될 예정이다.

한편, 과거 기업들은 AI를 도입할 때, 다양한 AI 모델에 데이터를 학습시키고 유지 관리하는 데 상당한 어려움을 겪어왔다. 이 때 등장한 것이 파운데이션 모델이다.

파운데이션 모델은 레이블이 지정되지 않은 방대한 양의 데이터를 사전에 학습한 AI 모델이다. 조직에서 AI를 활용할 때 파운데이션 모델을 사용하면 AI를 학습시키기 위한 데이터 준비 및 학습에 들어가는 시간과 비용을 크게 절감할 수 있다. 또한, 레이블이 지정된 데이터를 이전 방식보다 10~100배 적게 사용하여 사용 사례에 쉽게 적용할 수 있다. 그 결과, 조직에서 결과를 창출하는 시간이 단축되고, 내부 팀의 생산성을 향상할 수 있다.

파운데이션 모델은 이 생성형 AI를 가능하게 하는 기본 바탕이다. 그러나, 파운데이션 모델과 생성형 AI에 있어서 소비자용과 비즈니스용 AI 애플리케이션이 다르다는 점을 기억해야 한다.

오늘날 기업은 신뢰할 수 있는 데이터, 속도, 거버넌스를 통해 조직 전체에 AI를 활용하기 위한 전 과정을 아우르는 모든 기술과 서비스가 필요하다. 그리고 이 모든 것은 한 곳에서 활용할 수 있어야 하며, 모든 클라우드 환경에 걸쳐 실행할 수 있어야한다.

이러한 비즈니스의 요구조건을 반영한 AI 플랫폼이 왓슨x(watsonx)는 기존 머신러닝 및 최신 파운데이션 모델을 구축, 개선할 수 있는 기업용 AI 및 데이터 플랫폼이다. 비즈니스 전용이므로 데이터가 어디에 있든 책임감 있고 투명하게 데이터를 활용한다. 'x'는 규모를 의미하며 비즈니스에서 AI의 영향력을 배가함을 의미한다.

왓슨x의 핵심은 신뢰성이다. 기업은 고객과 상호 작용할 때 AI가 거짓 정보를 사실처럼 꾸며내거나(hallucination) 부적절한 언어를 사용하지 않을 것이라는 확신을 가질 수 있어야 한다. IBM의 접근 방식은 진화하는 법률 및 규제 환경에 민첩하게 적응할 수 있는 적절한 수준의 엄격성, 프로세스, 기술 및 도구를 구축하는 것이다.

이런 목적에 따라 IBM은 왓슨x 플랫폼의 구성 요소는 ▷IBM 왓슨x.ai : 2023년 7월에 정식 출시될 예정인 차세대 기업용 AI 스튜디오이다. AI 개발자들이 머신러닝을 기반으로 AI를 구축, 실행, 배포할 수 있도록 지원하는 IBM 왓슨 스튜디오 기술과 파운데이션 모델의 성능을 활용하는 최신 생성형 AI 기술을 결합했다.

▷IBM 왓슨x.데이터(data): 데이터에 빠르게 접근하고 활용하기 위한 데이터 및 AI 워크로드에 최적화된 데이터 저장소 ▷IBM 왓슨x.거버넌스(governance): 정책 생성형, 의사 결정 권한 할당, 위험 및 투자 결정에 대한 조직의 책임 보장을 위한 자동화된 데이터 및 모델 수명 주기 솔루션으로 AI 도구 및 AI 사용에 필요한 보도장치를 구축할 수 있도록 지원한다.