이날 마크 저커버그는 "여러분들이 이 모델을 통해 무엇을 만들지 기대됩니다!”라고 출시 소감과 모델에 대한 비전을 밝혔다(사진:본지DB)
이날 마크 저커버그는 "여러분들이 이 모델을 통해 무엇을 만들지 기대됩니다!”라고 출시 소감과 모델에 대한 비전을 밝혔다(사진:본지DB)

메타가 차세대 인공지능(AI) 대규모 언어 모델(LLM) '라마 2(LLaMa2)'를 오픈 소스로 18일(현지시간), 공개했다.

모델은 70억, 130억, 700억 개의 파라미터로 사전 학습되고 미세 조정된 모델로 2조 개의 토큰으로 훈련되었으며 이전 모델 'Llama 1'보다 컨텍스트 길이가 두 배이며, 100만 개 이상의 인간 주석으로 훈련되었다.

메타는 이날 공개와 더불어 "우리는 이러한 대규모 언어 모델에 힘을 발휘하고 있습니다"라며,  "Llama의 최신 버전인 Llama 2는 이제 개인, 크리에이터, 연구원 및 기업이 사용할 수 있으며, 책임감 있게 아이디어를 실험하고 혁신하고 확장할 수 있습니다"라고 밝혔다.

이날 마크 저커버그(Mark Zuckerberg) CEO는 페이스북을 통해 “마이크로소프트(Microsoft)와 협력하여 차세대 오픈 소스 대규모 언어 모델(LLM)인 Llama 2를 출시합니다”라며, “Llama 2는 연구 및 상업적 용도로 무료로 제공될 예정입니다”라고 말했다.

모델 개요로 Llama 2 사전 훈련된 모델은 2조 개의 토큰으로 학습되었으며, Llama 1보다 컨텍스트 길이가 두 배로 미세 조정된 모델은 100만 개 이상의 인간 주석으로 훈련되었다.
모델 개요로 Llama 2 사전 훈련된 모델은 2조 개의 토큰으로 학습되었으며, Llama 1보다 컨텍스트 길이가 두 배로 미세 조정된 모델은 100만 개 이상의 인간 주석으로 훈련되었다.

이어 “오픈 소스는 더 많은 개발자가 새로운 기술로 구축할 수 있도록 지원하므로 혁신을 촉진합니다. 또한 소프트웨어가 공개되면 더 많은 사람들이 소프트웨어를 면밀히 검토하여 잠재적인 문제를 파악하고 수정할 수 있기 때문에 안전과 보안이 향상됩니다. 생태계가 더 개방적일수록 더 많은 발전을 이룰 수 있다고 믿기 때문에 라마2를 오픈 소스로 공개했습니다”라고 공개 취지를 설명했다.

Llama 2는 추론, 코딩, 숙련도 및 지식 테스트를 포함한 많은 외부 벤치마크에서 다른 오픈 소스 언어 모델보다 성능이 뛰어나다.
Llama 2는 추론, 코딩, 숙련도 및 지식 테스트를 포함한 많은 외부 벤치마크에서 다른 오픈 소스 언어 모델보다 성능이 뛰어나다.

아울러 “라마 2는 라마 1보다 40% 더 많은 데이터로 사전 학습되었으며 아키텍처가 개선되었으며, 안전과 품질에 대한 선도적인 결과를 얻은 감독형 미세 조정 및 인간 피드백을 통한 강화학습(RLHF)을 적용했습니다”라고 덧붙였다.

저커버그 말을 마치며 “이 모델을 직접 다운로드하거나 마이크로소프트와의 우선 파트너십을 통해 마이크로소프트의 안전 및 콘텐츠 도구와 함께 애저(Azure)를 통해 사용할 수 있습니다. 윈도우에서 로컬로 실행할 수 있는 최적화된 버전도 있습니다. 여러분들이 무엇을 만들지 기대됩니다!”라고 출시 소감과 모델에 대한 비전을 밝혔다.

현재, 이 모델은 간단한 등록(다운)을 통해 다운 받아 사용할 수 있으며, 모델에 대한 더 자세한 내용은 이날 발표된 연구 논문 '라마 2: 오픈 파운데이션과 미세 조정된 채팅 모델(Llama 2: Open Foundation and Fine-Tuned Chat Models-다운)'을 참고하면 된다.

저작권자 © 인공지능신문 무단전재 및 재배포 금지