Re Reference AI

モデル

Llama(LLaMA)とは

LLaMA / Llama 4

Metaが開発する、研究・商用利用向けに重みを公開しているオープンウェイトの大規模言語モデルファミリー

LLMMetaオープンウェイトマルチモーダル

最終更新:

ひとことで言うと

Metaが公開している、誰でも使えるAIモデルシリーズ。

概要

Llama(LLaMA)とは、Metaが開発し重みを公開しているオープンウェイトの大規模言語モデルファミリー。 クローズドウェイトのGPTやClaude、Geminiと異なり、モデルの重みを研究者・企業がダウンロードして自前の環境で実行・ファインチューニングできる点が特徴で、オープンウェイトLLMのエコシステム(ファインチューニング手法、量子化ツール、派生モデル等)の発展を大きく後押しした。 Llama 2以降はコミュニティによる利用を前提とした比較的緩やかなライセンスで公開され、これをベースにした派生モデルやファインチューニング済みモデルが数多く公開されるオープンウェイトLLMのエコシステムの中心的存在になった。 2024年のLlama 3.1は405Bまで規模を拡張し128kのコンテキストに対応し、2025年4月のLlama 4は初めてMoEを採用したネイティブマルチモーダルモデルとして、10Mトークンのコンテキストを持つ。 その後もLlama GuardやLlama Prompt Guardなど、安全用途のモデルが同じブランドで提供されている。

背景

Metaは、モデルの重みを公開することで研究コミュニティ全体の技術発展を加速させ、特定ベンダーへの依存を避けたい企業のニーズにも応えるという方針のもとLlamaシリーズを開発している。 一方でLlama 4以降は、モデルの評価をめぐる議論を受けて、ベンチマークの再現手順と推論・学習のレシピを公開する運用に切り替えている。 重みはHugging Faceで配布されると同時に、Meta自身のプラットフォーム経由でも利用できる。

歴史

2023年2月: Metaが研究者向けにLLaMA(第1世代)を公開。 当初は申請制だったが重みが流出し広く一般に出回った。 2023年7月: 商用利用も許可するライセンスでLlama 2を公開。 2024年4月: 8Bと70BのLlama 3を公開。 2024年7月: 405BのLlama 3.1を公開し、128kのコンテキストと多言語対応を進めた。 2024年9月: 1Bと3Bの小型版、11Bと90Bの視覚対応版Llama 3.2を公開。 2024年12月: 70BのLlama 3.3 Instructを公開。 2025年4月: MoEを採用しネイティブマルチモーダルとなったLlama 4(ScoutとMaverick)を公開。10Mトークンのコンテキストに対応する。 2025年4月: セーフティ用途のLlama Guard 4とLlama Prompt Guard 2を公開。

アーキテクチャ

Llama 3まではデコーダのみのTransformerアーキテクチャを基本とし、世代を追うごとに学習データ量や学習手法が改良されている。 Llama 3.1では128kのコンテキストと多言語への対応が進み、Llama 3.2では視覚入力を扱う変種が加わった。 Llama 4では初めてMoE(混合エキスパート)を採用してネイティブマルチモーダルになり、画像とテキストを早期融合する。Scoutは16エキスパート、Maverickは128エキスパートで、どちらも1トークンあたり17Bが活性化する。 10Mトークンのコンテキストに対応し、ScoutはINT4量子化で単一のH100に収まる。 教師モデルのLlama 4 Behemoth(1トークンあたり288Bが活性化する)を使い、ScoutとMaverickの学習を進めた。

ワークフロー

重みはHugging Faceのmeta-llama organizationで公開されているが、Llama 4以降はアクセス申請が必要で、承認を経てダウンロードできる。 vLLMやSGLangで推論サーバーを立ててセルフホストし、LoRAなどの手法で独自の追加学習を行うのが典型的な流れになる。 量子化版の提供はモデルごとに異なり、GGUFを用意しているllama.cpp向けと、bitsandbytesやGPTQ、AWQ向けの版が分かれる。 安全用途ではLlama GuardやLlama Prompt Guardを別のモデルとして搭配して使う。

コード例

vLLMでLlama 3.1を推論サーバーとして起動する

vllm serve meta-llama/Meta-Llama-3.1-8B-Instruct \
    --tensor-parallel-size 1 \
    --max-model-len 131072

OpenAI互換のクライアントから呼び出す

from openai import OpenAI

client = OpenAI(
    api_key="EMPTY",
    base_url="http://localhost:8000/v1",
)

response = client.chat.completions.create(
    model="meta-llama/Meta-Llama-3.1-8B-Instruct",
    messages=[{"role": "user", "content": "日本語で要約してください。"}],
)
print(response.choices[0].message.content)

利点

  • 重みが公開されており、自前の環境でのホスティング・ファインチューニング・改変が可能
  • 研究・商用問わず利用できるライセンスにより、独自のエコシステムが発展している
  • 派生モデルや量子化版が数多く公開されており、用途・環境に応じた選択肢が豊富
  • 8Bから405B、Llama 4では400B超のMoEまで、同一ブランドで複数の規模を選べる
  • セーフティ用途のLlama GuardやLlama Prompt Guardが同じブランドで提供されている

欠点

  • モデルを自前で運用する場合、GPU等のインフラを自社で用意・管理する必要がある
  • GPTやClaude等の最新のクローズドウェイトモデルと比べ、性能面で一歩後れを取る場合がある
  • ライセンス条件が版によって異なり、商用利用時は利用規約の確認が必要になる
  • Llama 4以降は重みのダウンロードに申請と承認が必要で、入手までに時間がかかる
  • Llama 3以降は独自の評価基準をめぐる批判があり、ベンチマークの再現手順を確認してから比較する必要がある

比較

  • LLM — Llamaは、オープンウェイトのLLMエコシステムを広げた代表的なモデルファミリー
  • ファインチューニング — Llamaは重みが公開されているため、独自データでのファインチューニングに広く利用される
  • MoE — Llama 4では、MoEアーキテクチャが採用されている。Scoutは16エキスパート、Maverickは128エキスパートを持つ
  • Qwen — LlamaとQwenはいずれもオープンウェイトLLMだが、LlamaはMetaの単一ブランドで世代を重ね、Qwenは用途別の派生モデルを多数公開する

関連する用語

MistralQwenKimiマルチモーダルLLMWizardLMNous HermesNemotronGeminiDeepSeekPhiGemmaGrok

よくある質問

Llamaは無料で商用利用できる?

Llama 2以降は商用利用も許可するライセンスで公開されているが、月間アクティブユーザー数等のライセンス条件が版によって定められており、利用前に確認が必要。

Llamaを使うにはどんな環境が必要?

パラメータ数に応じて必要なGPUメモリが変わり、大規模なモデルは複数GPUでの分散実行が必要になる場合がある。 量子化により必要なメモリを抑えることもできる。

Llama 4の重みはすぐ入手できるか。

Llama 4以降はHugging Faceでアクセス申請が必要で、承認された後にダウンロードできる。 申請から承認までに時間を要するので、導入計画に余裕を持たせる必要がある。

Llamaの最大規模はどれくらいか。

公開されているモデルではLlama 3.1の405Bが最大で、Llama 4ではScoutとMaverickのいずれも1トークンあたり17Bが活性化する構成になる。 教師モデルのBehemoth(1トークンあたり288Bが活性化する)は公開されていない。

参考文献

関連する年表

LLMの歴史

Transformerの登場から、ChatGPTによる一般普及、オープンウェイトモデルの拡大、推論特化モデルの登場まで、大規模言語モデル(LLM)全体の主要な流れをベンダー横断でたどる。

モデル8件のイベント / 2017 - 2025

関連する比較

Llama vs Mistral

Llamaは米Metaが開発する、研究・商用利用向けに重みを公開しているオープンウェイトのLLMファミリー。Mistralはフランスの Mistral AI が開発する、効率性を重視したオープンウェイトのLLMファミリー(一部上位モデルはクローズドウェイトのAPI提供)。

LlamaMistral

関連する特集記事

主要オープンウェイトLLMモデル一覧

Llama・Mistral・DeepSeek・Qwen・Phi・Gemma等、モデルの重みが公開されている主要なオープンウェイトLLM・生成AIモデルを一覧で紹介。各モデルの特徴・開発元比較・リリース年表まとめ。

モデル9モデル

関連Zenn記事