미국 카네기멜론대학교(Carnegie Mellon University. 이하, CMU)의 로봇 연구소(Robotics Institute) 오혜진 교수 연구팀이 인간과 생성 인공지능(Generative AI), 로봇을 융합해 '프리다(FRIDA)'를 개발했다.

FRIDA는 인공지능을 사용하여 예술 작품에서 그림을 그리도록 요청하면 캔버스에 붓놀림(Brush Ttrokes)을 시작한다.

예술적 협업의 자발성과 즐거움을 포용하는 새로운 프로젝트로 오 교수는 본지에 "FRIDA는 ART를 통해 로보틱스 기초 연구를 하려는 의도로 시작한 프로젝트이고 아직 초기 단계이지만 그 깊이가 더욱 깊어지고 있다"며, "FRIDA는 로봇 페인팅 시스템으로 소통을 위한 아이디어를 생성하는 것이 아니며, 인간과 협업할 수 있는 시스템으로 높은 수준의 목표를 요구하면 FRIDA는 이를 실행할 수 있다"라고 말했다.

즉, 사용자는 텍스트 설명을 입력하거나, 스타일에 영감을 주는 다른 예술 작품을 제시하거나, 사진을 업로드하고 그것을 표현하도록 요청함으로써 FRIDA를 지시할 수 있는 것이다. 또 연구팀은 로봇에게 아바(ABBA)의 'Dancing Queen'을 연주하고 그림을 그려달라고 요청하는 등 오디오를 포함한 다른 입력도 실험하고 있다.

이 로봇 시스템은 멕시코 화가로 원시주의적 양식의 자화상으로 유명한 '프리다 칼로(Frida Kahlo. 1907~1954)의 이름을 땄으며 FRIDA는 Framework and Robotics Initiative for Develop Arts의 약어다. 

FRIDA는 메시지에 대한 응답으로 각각 텍스트 또는 이미지를 생성하는 OpenAI의 챗GPT(ChatGPT) 및 달리(DALL-E 2)와 같은 강력한 도구와 유사한 생성 AI 모델을 사용한다. FRIDA는 붓놀림으로 이미지를 그리는 방법을 시뮬레이션하고 머신러닝을 사용하여 진행하며, 한 걸음 더 나아가 실제 캔버스에 사용자의 구상을 그릴 수 있다.

FRIDA는 캡션 이미지와 같은 작업을 수행하고 장면 내용을 이해하고 이를 예술적 생성 문제에 적용하기 위해 개발된 AI 모델을 사용하고 있다. 이 모델은 먼저, 붓을 사용하는 방법을 학습하고 그런 다음, 입력을 이해하기 위해 자연어 감독에서 시각적 개념을 효율적으로 학습하는 오픈AI의 CLIP(Contrastive Language-Image Pre-training-다운)과 같이 인터넷에서 스크랩한 텍스트와 이미지를 쌍으로 연결하는 방대한 데이터 세트에서 훈련된 대규모 시각 언어 모델을 사용해 프롬프트를 기반으로 새로운 텍스트 또는 이미지를 생성한다.

또한 OpenAI의 DALL-E 2와 같은 다른 이미지 생성 도구는 대형 비전 언어 모델을 사용하여 디지털 이미지를 생성하며, 한 단계 더 나아가 구현된 로봇 시스템을 사용하여 실제 그림을 제작한다.

실제 이미지를 생성하는 데 있어 가장 큰 기술적 과제 중 하나는 FRIDA가 시뮬레이션에서 구성하는 것과 캔버스에 그리는 것 사이의 차이인 시뮬레이션과 실제 간극을 줄이는 것이다. FRIDA는 자기지도 학습을 통한 평면 로봇 캐스팅 real2sim2real(논문, 코드 다운)이라는 플랫폼을 적용했으며, 로봇의 실제 브러시 스트로크는 로봇과 페인팅 재료의 물리적 기능을 반영하고 모방하도록 시뮬레이터를 훈련하는 데 사용된다.

한편, 연구팀은 프리다가 인간의 창의성을 위해 ‘도구’가 된다는 점을 강조하며, 인간의 창의성을 대체하기보다는 증진시키기 위한 로봇 공학적 계획이라고 한다.

오혜진(Jean Oh) 교수는 연세대학교에서 생명공학 학사와 컬럼비아 대학에서 컴퓨터 과학 석사 학위를 그리고 2018년 카네기 멜론 대학에서 언어 및 정보기술 박사 학위 받았다. 주요 연구분야는 자율성, 언어 이해, 다중 모드 인식, 경로 계획 및 기계 학습을 포함한 로봇 공학의 AI 영역으로 인지 로봇 분야에서 두 개의 최우수 논문상을 수상하기도 했다. 

이 연구는 오는 5월 29일부터 6월 2일까지 런던에서 열리는 2023 IEEE 로봇 공학 및 자동화 국제 회의(IEEE International Conference on Robotics)에서 '프리다: 차별화 가능한 Real2Sim2 실제 계획 환경을 가진 협업 로봇 화가(FRIDA: A Collaborative Robot Painter with a Differentiable, Real2Sim2Real Planning Environment-다운)'란 제목으로 발표될 예정이다.(아래는 시스템 소개 및 시연 영상)