메타가 새로운 AI 모델 시리즈, Llama 4를 발표했습니다. 

현재 공개된 모델은 4천억 파라미터의 Llama 4 Maverick와 1090억 파라미터의 Llama 4 Scout입니다. 

이 두 모델은 llama.com과 Hugging Face에서 다운로드하여 사용할 수 있습니다. 

아울러 2조 파라미터의 대형 모델인 Llama 4 Behemoth도 미리 공개되었지만, 아직 훈련 중이라 정확한 출시 일정은 밝혀지지 않았습니다.

Llama 4 시리즈의 주요 특징은 모두 멀티모달 기능을 갖추고 있다는 점입니다. 

오디오는 언급되지 않았으나 텍스트, 비디오, 이미지를 처리하고 생성할 수 있도록 훈련되었습니다. 

또한 매우 긴 컨텍스트 윈도우를 제공합니다. 

Maverick는 약 1,500페이지에 해당하는 100만 토큰, Scout는 약 15,000페이지에 해당하는 1000만 토큰을 처리할 수 있어 의학, 과학, 공학 등 정보가 많은 분야에서 유용하게 활용될 수 있습니다.

이 모델들은 전문가 혼합(MoE) 아키텍처를 사용합니다. 

이는 다양한 작업과 주제에 특화된 여러 작은 모델을 하나의 큰 모델로 결합하는 방식입니다. 

각 Llama 4는 128개의 전문가로 구성되어 있으며, 각 토큰을 처리할 때 필요한 전문가와 공유 전문가만 활성화되어 효율성을 높입니다.

Llama 4 블로그 게시물에 다음과 같이 언급되어 있습니다:

결과적으로, 모든 파라미터가 메모리에 저장되는 동안, 이러한 모델을 제공하는 동안 총 파라미터의 일부만 활성화됩니다.
이는 모델 제공 비용과 지연 시간을 낮춤으로써 추론 효율성을 향상시킵니다—Llama 4 Maverick는 쉬운 배포를 위해 단일 [Nvidia] H100 DGX 호스트에서 실행하거나, 최대 효율성을 위해 분산 추론으로 실행할 수 있습니다.

비용 면에서도 경쟁력이 있습니다. 

Meta는 Llama 4 Maverick의 추론 비용을 100만 토큰당 $0.19~$0.49로 추정하는데, 이는 100만 토큰당 약 $4.38로 추정되는 GPT-4o보다 훨씬 저렴합니다. 

클라우드 AI 추론 제공업체 Groq에서는 이미 Llama 4 모델 지원을 시작했으며, Scout는 혼합 비율 기준 100만 토큰당 $0.13, Maverick는 $0.53의 가격으로 제공됩니다.

Llama 4는 추론, 코딩, 단계별 문제 해결을 위해 설계되었습니다. 

메타는 이 모델들의 훈련을 위해 새로운 기술도 도입했습니다. 

특히 MetaP라는 기술은 하나의 모델에서 설정한 하이퍼파라미터를 다른 크기와 유형의 모델에 적용할 수 있게 해 훈련 효율성을 크게 높입니다.

성능 면에서 Llama 4 Behemoth는 MATH-500, GPQA Diamond, MMLU Pro 등의 벤치마크에서 GPT-4.5, Gemini 2.0 Pro, Claude Sonnet 3.7보다 우수한 성능을 보입니다.

출처 : 메타


Maverick는 ChartQA, DocVQA 등 대부분의 멀티모달 추론 벤치마크에서 GPT-4o와 Gemini 2.0 Flash를 능가합니다. 

출처 : 메타

Scout도 Mistral 3.1, Gemini 2.0 Flash-Lite, Gemma 3와 같은 모델과 비슷하거나 더 나은 성능을 보여줍니다.

출처 : 메타

하지만 DeepSeek R1이나 OpenAI o1과 같은 최상위 추론 모델과 비교했을 때는 일부 지표에서 약간 뒤처지기도 합니다. 

그럼에도 Llama 4는 오픈 소스 모델로서 충분한 경쟁력을 갖추고 있습니다.

메타는 또한 Llama Guard, Prompt Guard, CyberSecEval 등의 도구를 통해 모델의 안전성을 강조했으며, 이전 모델들이 가지고 있던 정치적 편향을 개선했다고 주장합니다.

관련 내용 메타 블로그 : https://ai.meta.com/blog/llama-4-multimodal-intelligence/