베토벤의 모든 곡을 학습한 인공지능은 이를 완성하기 위해 베토벤의 예술적 유산(교향곡, 음표, 음악 스케치 및 악보)의 데이터를 분석했으며, 전문가들은 기계가 읽을 수 있는 형태로 이들 데이터를 변환해야 했다. 

이미지:도이치텔레콤, 편집:본지
이미지:도이치텔레콤, 편집:본지

불행히도 루트비히 판 베토벤(Ludwig van Beethoven. 1770~1827) 그의 10번째 교향곡을 완성할 수 없었다. 그가 운명할 당시에는 교향곡과 관련된 몇 가지 음표와 악보 스케치만 남았을 뿐이다.

인공지능이 이 몇 안되는 흔적으로만 2년여만에 10번 교향곡을 완성하고 지난 9일 디르크 카프탄(Dirk Kaftan)이 지휘하는 ‘본 베토벤 오케스트라(Beethoven Orchestra Bonn)’가 750여명의 관객 앞에서 첫을 보였다.

이 '베토벤 X - 인공지능 프로젝트(Beethoven X: The AI Project)는 하버드대 음악 학자 로버트 레빈(Robert Levin) 교수, 뉴저지주립대학, 럿거스대(Rutgers, The State University of New Jersey)의 예술과AI연구소 아메드 엘가말(Ahmed Elgammal) 소장, 코넬대 마크 고담(Mark Gotham) 박사, 작곡가 월터 베르조와(Walter Werzowa), 베토벤하우스의 연구책임자 크리스틴 시거트(Christine Siegert) 박사 등 국제 음악 학자와 AI 전문가들로 구성된 팀이 진행하고 도이치텔레콤이 후원했다.

AI가 완성한 베토벤의 10번 교향곡, 본 베토벤 오케스트라의 연주모습(사진:도이치텔레콤)
AI가 완성한 베토벤의 10번 교향곡, 본 베토벤 오케스트라의 연주모습(사진:도이치텔레콤)

2019년 시작된 이 프로젝트는 베토벤 탄생 250주년이 되는 해를 기념해 인공지능(AI)이 베토벤의 미완성 10번 교향곡을 2020년 4월 완성해 그의 고향 본에서 오케스트라를 통해 발표될 계획이었으나 코로나19로 인해 일정이 늦어졌다.

베토벤의 모든 곡을 학습한 인공지능은 이를 완성하기 위해 베토벤의 예술적 유산(교향곡, 음표, 음악 스케치 및 악보)의 데이터를 분석했으며, 전문가들은 기계가 읽을 수 있는 형태로 이들 데이터를 변환해야 했다. 

여기에는 특정 작업에 맞게 알고리즘을 미세 조정해 가장 적합한 머신러닝을 선택, 문자나 음표와 같은 작은 단위를 위한 음성 처리 알고리즘이 적용됐다. 이 과정을 통해 전문가들은 베토벤의 스타일을 ‘이해’하는 '베토벤-AI(Beethoven-AI)' 시스템을 개발했다.

이 AI 시스템은 아흐메드 엘가말 교수와 마크 고담 박사가 더 발전시켜 미완성 교향곡의 기존 단편들을 집필해 베토벤의 작품 스타일을 반영하는 의미 있는 음악작업으로 확장할 수 있도록 했다.

이 AI 응용 프로그램이 제안한 음악적 제안은 음악 학자들에 의해 분석됐다. 음악 학자들은 최고의 대안을 선택하고 시스템으로 재생했다. 그런 다음 과제를 반복했고 몇 가지 음이 추가됐다.

특히, AI가 제안하는 것과 인간 전문가가 제시하는 대안적 결과 중 가장 좋은 결과를 선택하는 것이 과제였다. 가장 큰 문제는 베토벤이 남겨놓은 많은 음악적 아이디어가 매우 추상적이며, 다양한 악기에 대한 해석으로 오케스트라가 연주할 수 있도록 하는 것이다. 때문에 시스템이 그것을 이해하기에는 매우 어려웠지만 결국, AI가 작품을 향상시키고 꾸며낸 것이다.

예술과 인공지능은 같은 평면에 있다고 말할 수 있다. 인공지능은 알고리즘으로 이런 일을 한다고 말할 수 있지만 인간은 자신의 경험이나 교육에 근거해 이런 일을 한다. 이 두 가지 사고 과정은 모두 현실의 한 조각을 묘사하고 싶어 한다.

인공지능의 예술 작업은 언제나 논란을 부른다. 이날 선보인 10번 교향곡도 “이건 베토벤이 아니다” VS “베토벤의 본질을 찾았다” 라는 칭찬과 일부 비판이 공유됐지만 원칙적으로 이번 AI 프로젝트는 인공지능은 예술가의 대체물이 아니라 예술가가 새로운 방식으로 자신을 표현하는 도구로 그리 멀지 않다는 것을 증명한 셈이다. (아래는 연주 영상)

 

저작권자 © 인공지능신문 무단전재 및 재배포 금지