페이스북 AI, 차등 개인정보보호 기능을 파이토치 모델에 학습시키기 위한 고속 머신러닝 라이브러리 오픈소스로 공개
페이스북 AI, 차등 개인정보보호 기능을 파이토치 모델에 학습시키기 위한 고속 머신러닝 라이브러리 오픈소스로 공개
  • 최창현 기자
  • 승인 2020.09.11 00:15
  • 댓글 0
이 기사를 공유합니다

Opacus 로고, 이미지:본지
Opacus 로고, 이미지:본지

페이스북 AI, 차등 개인정보보호 기능을 파이토치 모델에 학습시키기 위한 고속 머신러닝 라이브러리 오픈소스로 공개

페이스북 AI 팀은 차등 개인 정보 보호 기능을 파이토치(PyTorch) 모델을 학습하기 위한 새로운 고속 머신러닝 라이브러리 '오파쿠스(Opacus)'를 오픈 소스로 9일(현지시간) 공개했다.

이 플랫폼은 기존 방식보다 확장성이 뛰어난 차등 프라이버시(Differential Privacy. 이하, DP)를 갖춘 파이토치 모델을 학습하기 위한 새로운 고속 라이브러리로 민감한 데이터의 익명화를 수치화하기 위한 수학적으로 엄격한 프레임워크다. 페이스북 AI 팀은 이번 오파쿠스의 출시를 계기로 연구자와 엔지니어가 머신러닝에서 DP를 채택할 수 있는 보다 쉬운 경로를 제공할 수 있을 뿐만 아니라, 현장에서의 DP 연구도 가속화할 수 있기를 기대한다고 밝혔다.

오파쿠스의 주요 기능으로 먼저, 속도는 파이토치에서 오토그라드(Autograd) 후크를 활용함으로써 오파쿠스는 샘플 당 배치된 그라데이션(grad)을 계산할 수 있어 마이크로 배칭에 의존하는 기존 DP 라이브러리와 비교해 엄청난 속도를 자랑한다. 또 보안에 중요한 코드에 암호적으로 안전한 의사 무작위 번호 생성기를 사용한다. 이것은 전체 파라미터 배치에 대해 GPU에서 고속으로 처리된다.

또한 오파쿠스는 보안에 중요한 코드에 암호적으로 안전한 의사 난수 생성기(pseudo-random number generator)를 사용한다. 이것은 전체 파라미터 배치에 대해 GPU에서 고속으로 처리된다. 또 오파쿠스 코드를 파이토치 코드와 파이썬 코드와 혼합하고 일치시킴으로써 엔지니어와 연구원들은 아이디어를 빠르게 프로토타입할 수 있다.

아울러 생산성에서 오파쿠스는 튜토리얼, 훈련이 시작되기도 전에 호환되지 않는 레이어에 대해 경고하는 도우미 기능, 자동 리팩토링 메커니즘을 가지고 있으며, 상호작용성으로 오파쿠스는 주어진 시점에서 개인 정보 보호 예산(DP의 핵심 수학적 개념)의 얼마를 지출하고 있는지 추적하여 조기 중지 및 실시간 모니터링이 가능하게 한다.

한편, 이 알고리즘의 핵심 아이디어는 모델이 직접 데이터가 아닌 가중치를 업데이트하는 데 사용하는 매개 변수 기울기에 개입하여 훈련 데이터 세트의 개인 정보를 보호 할 수 있다는 것이다. 또한 모든 반복에서 그라디언트에 노이즈를 추가함으로써 우리는 모델이 학습 예제를 기억하는 것을 방지하는 동시에 총체적으로 학습을 가능하게 한다. (편향되지 않은) 노이즈는 학습 과정에서 볼 수 있는 많은 배치에서 자연스럽게 상쇄되는 경향이 있다.

오파쿠스는 또한 튜토리얼, 훈련이 시작되기도 전에 호환되지 않는 레이어에 대해 경고하는 헬퍼 기능, 자동 리팩토링 메커니즘도 함께 제공되며, 오파쿠스(Opacus- 다운)는 누구나 공개적으로 사용할 수 있는 오픈 소스로 Apache-2.0(보기)에 따라 라이센스가 부여된다

 

 


관련기사

댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.