오픈AI (OpenAI)가 지난달 31일, '특정 문장을 작성한 것'이 인간인지 AI인지 판정하는 웹 기반 'AI 텍스트 분류기(AI Text Classifier)' 툴을 무료 공개했다. 

이 툴은 사람이 쓴 텍스트와 자사의 챗GPT(ChatGPT) 등 다양한 공급자의 AI가 쓴 텍스트를 구별하도록 분류기Classifier)를 출시한 것이다. 아직은 초기 버전으로 모든 AI 작성 텍스트를 안정적으로 감지하는 것은 불가능하지만 인공지능이 생성한 텍스트가 인간에 의해 작성되었다는 최소한의 잘못된 주장에 대한 근거를 제시할 수 있다고 한다.

오픈AI에 따르면 이 분류기(식별기)는 아직 완전히 신뢰할 수 없다며, 영어 텍스트 챌린지 세트에 대한 평가에서 분류기는 AI 작성 텍스트(참 긍정/True Positives)의 26%를 'AI 작성 가능성이 있음'으로 올바르게 식별했으며, 사람이 작성한 텍스트에서 9%를 'AI 작성 텍스트'로 잘못 표시(오탐/False Positives)한다.

특히, 이 분류기의 신뢰도는 일반적으로 입력 텍스트의 길이(1000자 이상)가 증가함에 따라 향상된다. 이전에 출시된 분류기와 비교할 때 이 새로운 분류기는 최신 AI 시스템이 생성한 텍스트에서 훨씬 더 안정적이라고 밝혔다.

오픈AI는 이와 같은 불완전한 도구가 유용한지에 대한 피드백을 얻기 위해 이 분류기를 공개하고 사용할 수 있도록 했다며, AI 생성 텍스트 감지에 대한 작업은 계속될 것이며, 향후 개선된 방법도 공유할 수 있다고 밝혔다.

아울러 분류기에는 여러 가지 중요한 제한 사항이 있다. 이것이 주요 의사 결정 도구로 사용되어서는 안되며 대신 텍스트의 출처를 결정하는 다른 방법을 보완하는 수단으로 사용되어야 한다고 덧붙였다. 사용시 유의사항은 아래와 같다.

▷분류기는 짧은 텍스트(1,000자 미만)에서는 매우 신뢰할 수 없으며, 더 긴 텍스트는 때때로 분류기에 의해 잘못 레이블이 지정된다. ▷때로는 사람이 쓴 텍스트가 잘못되었지만 분류기에 의해 AI가 쓴 것으로 확실하게 레이블이 지정된다. ▷영어 텍스트에만 분류자를 사용하는 것이 좋다. 다른 언어에서는 성능이 현저히 떨어지고 코드에서 신뢰할 수 없다.

▷매우 예측 가능한 텍스트는 확실하게 식별할 수 없다. 예를 들어, 정답이 항상 동일하기 때문에 처음 1,000개의 소수 목록을 AI가 작성한 것인지 사람이 작성한 것인지 예측하는 것은 불가능하다. ▷AI로 작성된 텍스트를 다시 편집하면 분류기를 피할 수 있으며 분류기는 업데이트되고 재훈련될 수 있지만 탐지가 장기적으로 이점이 있는지는 아직 확실하지 않다.

마지막으로 ▷이 신경망 기반 분류기는 아직 학습 데이터 외부에서 실시간 반영 및 보정되지 않아 훈련 데이터 세트의 텍스트와 매우 다른 입력의 경우에도 분류기는 때때로 잘못된 예측에 대해 매우 확신하기도 한다.

한편, 오픈AI가 이번에 판정 툴을 출시한 배경에는 특히, 교육 분야에서 AI로 작성된 텍스트를 식별하는 것이 교육자들 사이에서 중요한 논의 포인트로 대두되고 학습에 대한 악영향과 콘텐츠의 안전성과 정확성에 관한 우려 등의 배경도 깔려 있는 것으로 보인다. 현재, AI 텍스트 분류기(AI Text Classifier)는 온라인(웹-가기) 직접 무료로 사용해 볼 수 있다.