마이크로소프트는 인공지능(AI) 보안 평가 도구인 '카운터핏(Counterfit)'을 오픈 소스로 3일(현지시간) 공개했다. 이 툴은 조직이 AI 위험 평가를 수행하여 기업에서 사용 또는 구축한 AI 알고리즘이 '강력하고 신뢰할 수 있는지' 공격하여 사전 테스트할 수 있다.

카운터핏은 AI 시스템에서 대규모로 자동화 된 공격을 수행하기 위한 명령 줄 인터페이스 도구로 마이크로소프트의 '책임있는 AI 원칙(Microsoft’s responsible AI principles)' 및 'RAISE (Responsible AI Strategy in Engineering)' 이니셔티브에 따라 AI 서비스를 사전에 보호한다는 목표로 마이크로소프트의 '레드 팀(Red Team)'이 공격 테스트 노력의 일환으로 이를 구축했다. 

카운터핏은 개별 AI 모델을 대상으로 특별히 작성된 공격 스크립트 모음으로 시작하여 일반 자동화 도구로 변형되었으며, 대규모 AI 시스템을 공격한다. 조직은 이 도구를 사용하여 AI 모델을 회피하고 도용할 수 있으며, 텔레메트리(Telemetry, 원격측정) 정보를 제공하는 로깅 기능을 탑재해 AI 모델의 이상을 파악하는 데 활용할 수 있다.

마이크로소프트는 메타스플로이트(Metasploit)나 파워셸 엠피레(PowerShell Empyre)와 같은 다른 공격 도구와 유사한 자사의 카운터핏은 기존의 공격 도구에도 연결할 수 있다고 한다

또한 마이크로소프트는 카운터핏을 사용하여 프로덕션에서 자체 AI 시스템을 공격하여 취약점을 찾으며, 인공지능 소프트웨어 개발 단계에서부터 AI 시스템이 구현되기 전까지 취약점을 포착하고 사용하기 위해 테스트 중이다.

한편, 마이크로소프트는 보안 분석가가 AI 시스템에 대한 위협을 파악할 수 있도록 MITER 및 자사에서 발표한 오픈 소스 ATT & CK 스타일 프레임 워크 '적대적 머신러닝 위협 매트릭스(Adversarial ML Threat Matrix- 다운)'와 함께, 카운터핏(Counterfit- 다운)을 사용할 것을 권장했다.

.