입력 : 2024-04-19 16:21:42
메타가 오픈 소스 AI 모델 라마(Lama)3를 발표했다고 더버지가 18일(현지시간) 보도했다. 이번 발표된 라마 3의 버전은 38B(80억 파리미터 모델)와 700B(700억 파라미터) 등 2종이다. 4000억 파라미터 이상의 멀티모달(Multimodal) 버전은 향후 공개된다.
;)
▲페이스북 모회사 메타 로고 ©연합뉴스
메타는 라마3를 탑재한 AI 어시스턴트 메타 AI를 선보이고, 오픈AI의 챗GPT 및 구글의 제미니와 본격 경쟁에 돌입했다. 메타 AI는 인스타그램, 왓츠앱, 페이스북, 메신저 등의 검색창에 통합했으며, 독립형 웹사이트 Meta.ai를 통해서도 접속이 가능하다.
메타는 AI 챗봇 경쟁 승리를 위해서 AI 모델의 성능이 관건이라고 강조한다. 메타는 라마3가 주요 벤치마크에서 경쟁사의 AI 모델보다 성능이 우수했으며, 코딩 등의 작업에서도 성능이 뛰어났다고 밝혔다.
메타에 따르면 라마 38B는 MMLU, ARC, DROP, GPQA 등 9가지 벤치마크에서 프랑스 미스트랄의 미스트랄 7B나 구글의 젬마 7B보다 성능이 우수했으며, 70B는 구글 제미니 1.5 프로와 앤트로픽의 클라우드 3보다 일부 벤치마크에서 높은 스코어를 기록했다고 한다.
라마3는 지난해 발표된 라마2에 비해서 성능이 비약적으로 향상됐다. 라마2의 가장 대형 버전은 700억 개의 매개변수로 출시된 반면, 라마3 멀티모달 버전은 4,000억 개 이상의 매개변수로 출시될 예정이다. 또한 라마2는 2조 개의 토큰(본질적으로 모델을 구성하는 단어 또는 기본적 의미의 단위)에서 훈련한 반면, 라마 3 대형 버전은 15조 개 이상의 토큰에서 훈련한 차이점이 있다. 한편, 오픈AI는 GPT-4의 매개변수와 토큰수 등을 공개하지 않았다.
메타는 라마3를 오픈 소스로 출시해 퀄컴, 아마존웹서비스(AWS), 데이터브릭스, 구글 클라우드, 허깅페이스, 카글, IBM 왓슨X, 마이크로소프트(MS) 애저, 엔비디아 NIM, 스노우플레이크, AMD, 델, 인텔 등 다양한 하드웨어 업체 및 클라우드 서비스와 상용화에 있어 협력할 방침이다.
목록
위로