구글은 소리를 디지털 신호로 변환하고 소리의 특성을 심층 신경망(Deep Neural Network)을 사용해 새로운 사운드를 생성하여 실제 음악 프로덕션에 사용할 수 있도록 오픈소스를 기반으로 차세대 신디사이저 '엔신스 슈퍼(NSynth Super)' 프로토 타입을 공개했다.

구글은 마젠타(Magenta) 프로젝트를 통해 머신러닝 기술을 이용해 예술 분야에 응용할 수 있는 가능성을 연구하고 있으며, 그 일환으로 엔신스(Nsynth: Neural Synthesizer) 알고리즘을 발표한 바 있다. 이번 '엔신스 슈퍼(NSynth Super)' 프로토 타입의 기반이 된 엔시스는 입력된 수많은 음악에 대해 딥러닝을 통해 곡의 특성을 학습한 후 이를 기반으로 멜로디를 생성하는 시스템이자 신경 오디오 합성 기술로 소리를 디지털로 분석해 학습하고 이를 재생한다.

공개된 엔신스 슈퍼는 기존 사운드의 특징을 결합하여 새로운 사운드를 생성할 수 있는 엔신스 알고리즘으로 다른 소리를 입력하여, 자동 인코딩으로 각 입력에서 특징을 정의하는 16 개의 샘플을 추출하고 학습시켜 새로운 사운드를 디코딩한다. 또 DAW, 시퀀서 또는 키보드와 같은 MIDI 소스를 통해 재생할 수 있으며, 100,000 가지가 넘는 새로운 사운드가 프로토 타입에 로드되었다.

각 다이얼에는 4 개의 소스 사운드(아래영상 참조)가 할당되었으며, 다이얼을 사용하여 뮤지션은 탐색하려는 소스 사운드를 선택해 터치스크린을 통해 간단하게 손가락을 드래그 4 가지 소스 사운드의 음향 특성을 결합하는 새로운 사운드를 탐색 할 수 있다. 또한 개별 샘플 수준에서 사운드를 생성하며, 아티스트에게 음색과 다이나믹스에 대한 직관적인 컨트롤과 손으로 조율된 신디사이저로 제작하기가 어렵거나 불가능한 새로운 사운드를 탐색할 수 있는 기능도 제공한다.

모서리에 장착된 다이얼을 할당하는 악기를 선택합니다. Kaoss Pad처럼 터치스크린을 드래그하여 할당한 4 개의 악기의 성분 밸런스를 조정하여 새로운 음색을 만들어 낼 수 있다. 이것은 기존의 신디사이저처럼 소리를 합성하는 것이 아니다. 예를 들면, 일렉트릭 피아노와 베이스의 소리 성분을 조정하여 새로운 음색을 만들어 내는 방식으로 새롭게 생성된 음색은 조정하고 편집할 수 있으며, 동영상(아래 영상참조)과 같이 MIDI 호환 시퀀서나 키보드로 연주할 수 있다.

한편 '엔신스 슈퍼(NSynth Super)' 프로토 타입의 모든 소스 코드를 포함해 오픈소스, 회로도 및 디자인 템플릿은 GitHub(바로가기)에서 다운로드 할 수 있으며, 심플한 외형과는 달리 지금까지 들어 본 적이 없는 난해한 사운드를 쉽게 만들 수 있을 수 있는 이 장치는 제품화에 대해서는 언급하지 않지만, 개성적인 사운드를 추구하는 아티스트나 크리에이터는 주목할 만하다.