스위스 로잔연방공과대학교(Ecole polytechnique fédérale de Lausanne. 이하, EPFL)의 스위스 프라즈마센터(Swiss Plasma Center. 이하, SPC)와 딥마인드(DeepMind)의 공동 연구팀은 핵융합 연구를 위해 플라즈마를 제어하는 ​​세계 최초의 인공지능(AI) 심층강화학습 알고리즘을 개발했다.

이들은 함께, 심층 강화 학습(Deep Reinforcement Learning)을 기반으로 플라스마 자기제어 방식을 개발하고 SPC의 토카막(Tokamak) 연구시설인 '가변 구성 토카막(Variable-Configuration Tokamak. 이하, TCV)에서 실제로 플라즈마에 적용했다.

토카막은 핵융합 연구를 수행하기 위한 도넛 모양의 장치이며, SPC는 세계에서 몇 안 되는 연구 센터 중 하나이다. 이 장치는 강력한 자기장을 사용하여 플라즈마를 극도로 높은 온도(섭씨 수억 도, 심지어 태양의 핵보다 더 뜨거운 온도)로 가두어 수소 원자 간에 핵융합이 일어날 수 있도록 한다. 특히, 핵융합에서 방출된 에너지는 전기를 생산하는 데 사용하기 위해 연구되고 있다.

SPC의 토카막은 다양한 플라스마 구성을 허용하기 때문에 가변 구성 토카막(TCV)이라는 이름이 붙었다. 이는 과학자들이 플라즈마를 통제하고 제어하기 위한 새로운 접근 방식을 조사하는 데 그 장치를 사용할 수 있음을 의미한다. 플라즈마의 구성은 장치의 모양 및 위치와 관련이 있다.

토카막은 일련의 자기 코일을 통해 플라스마를 형성하고 유지한다. 그 설정과 특히, 전압을 주의 깊게 제어해야 한다. 그렇지 않으면 플라즈마가 용기 벽과 충돌하여 열화될 수 있다. 이러한 현상을 방지하기 위해 SPC 연구원들은 TCV 토카막에서 사용하기 전에 먼저 시뮬레이터에서 제어 시스템을 테스트했다.

SPC 과학자이자 연구의 공동 저자인 페데리코 펠리치(Federico Felici)는 "우리의 시뮬레이터는 20년 이상의 연구에 기초하고 있으며 지속적으로 업데이트 됩니다"라며, "그러나, 그럼에도 불구하고 제어 시스템의 각 변수에 대한 올바른 값을 결정하기 위해서는 여전히 높은 연산이 필요하기에, 이번 딥마인드와의 공동 연구 프로젝트가 진행된 것입니다"라고 말했다.

딥마인드 연구팀은 특정한 플라즈마 구성을 만들고 유지할 수 있는 AI 알고리즘을 개발해 SPC 시뮬레이터에서 학습시켰다. 여기에는 먼저 알고리즘이 시뮬레이션과 수집 경험에서 다양한 제어 전략을 시도하는 것이 포함되었다. 수집된 경험을 바탕으로 알고리즘은 요청된 플라즈마 구성을 생성하기 위한 제어 전략을 생성했다.

먼저, 알고리즘이 여러 가지 설정을 통해 실행되도록 하고 각 설정에서 생성된 플라스마 구성을 분석하는 작업이 수반되었다. 그런 다음, 알고리즘이 다른 방식으로 작동하기 위해 요청되었다. 즉, 올바른 설정을 AI가 식별하여 특정 플라스마 구성을 생성하는 것이다.

연구팀의 AI시스템은 두 개의 개별 플라즈마가 용기에서 동시에 유지되는 것을 포함하여 광범위한 플라즈마 모양과 고급 구성을 생성하고 유지할 수 있었다. 마지막으로 연구팀은 실제 조건에서 어떻게 작동하는지 확인하기 위해 새로운 시스템을 토카막에서 직접 테스트했다.

딥마인드의 제어 팀장이자 연구의 공동 저자인 마틴 리드밀러(Martin Riedmiller)는 "우리 팀의 임무는 복잡한 동적 환경에서 처음부터 완전히 학습할 수 있는 폐쇄 루프 컨트롤러인 차세대 AI 시스템을 개발하는 것입니다. 현실 세계에서 핵융합 플라즈마를 제어하는 것은 비록 극도로 도전적이고 복잡하지만 환상적인 기회를 접할 수 있었습니다”라고 밝혔다.

한편, 로잔연방공과대학교와 딥마인드의 이번 공동 연구 결과는 네이처(Nature)에 '심층 강화 학습을 통한 토카막 플라즈마의 자기 제어(Magnetic control of tokamak plasmas through deep reinforcement learning-다운)'란 제목으로 지난 16일 게재됐다.