モデル

Nemotron（ネモトロン）とは

NVIDIA Nemotron / ネモトロン

NVIDIAが重み・学習データ・学習レシピまで公開する、ハイブリッドMamba-Transformer MoEを軸にしたオープンAIモデル群

最終更新: 2026-10-20

ひとことで言うと

エヌビディアが、重みだけでなく学習データと学習レシピまで公開しているAIモデル群。MoE型のMamba-Transformerで、推論を軽くしつつ強い推論能力とエージェント能力を持たせる。

概要

Nemotron(ネモトロン)とは、NVIDIAが「重み・学習データ・学習レシピをすべてオープンにする」と定義して公開しているAIモデルファミリー。公式ページでは、学習データと重みをHugging Faceで公開し、導入前に手元で評価してから本番運用へ移せること、モデルを再現する手順も技術レポートとして公開されていることを説明している。 2024年6月のNemotron-4-340Bが初期の代表モデルとなった。Llama 3.1 8Bをエキスパートに組み合わせた総パラメータ340BのMoEモデルで、9兆トークンの事前学習のうえでSFT・DPO・RPOによるアラインメントを済ませている。学習時に人手でアノテーションしたデータは約2万件で、SFTと選好学習に用いたデータの98%以上は合成データで生成された。 2024年9〜10月にはLlama 3.1を基盤にしたNemotron 51B/70BのInstruct版を出し、推論トレースを出すか出さないかをシステムプロンプトで切り替える設計を定着させた。 2025年3月には、自己注意の代わりにMamba層を使うハイブリッド構成のNemotron-H(8B/47B/56B)を論文で発表した(arXiv:2504.03624)。同年8月には、NVIDIAがゼロから事前学習したNemotron-Nano-9B-v2/12B-v2を公開し、推論のOn/Offをチャットテンプレートのフラグで切り替えられる設計を実装した。 2025年12月のNemotron 3 Nano 30B-A3Bは、25兆トークンの事前学習で仕上げたモデルとして公開された。MoE層には128エキスパートと1共有エキスパートがあり、1トークンあたり6エキスパートだけを活性化する(arXiv:2512.20848)。 2026年3月のNemotron 3 Super 120B-A12BはLatentMoEにMTP層を加え、ITチケット自動化のような大量処理のエージェント業務向けに最適化されている。 2026年6月には総パラメータ550B・活性55BのNemotron 3 Ultra 550B-A55Bが加わり、2026年8月以降のNemotron 3.5では低遅延版のLightning、24GBメモリに収まるBoltなど用途別の変種が用意されている。言語モデルだけでなく埋め込み(llama-nemotron-embed-1b-v2)やリランキング(rerank-1b-v2)、セーフティガード、Parse、内容安全といった周辺モデルも同じブランドで公開されている。

背景

NVIDIAはもともとAIアクセラレータとCUDAエコシステムを提供してきた企業であり、社内の環境で新しいアーキテクチャを素早く試せる立場にある。 Nemotronは、その検証で得た知見を再現可能な形で企業へ渡す手段として組み立てられている。重みだけでなく事前学習・ポストトレーニングのデータセットとレシピまで公開することで、第三者が同じ手順で再訓練したり、用途別に追加学習したりできるようにしている。推論コストを抑えるため、Mamba-2による定数計算の層、MoEによるスパース化、NVFP4やFP8による低精度量子化をモデル設計の中心に据えている。加えて推論のOn/Offを切り替える仕組みを標準で持たせ、同じ重みを速度重視の用途と精度重視の用途で使い分けられるようにしている。

歴史

2024年6月: Nemotron-4-340BのBase/Instruct/Rewardを公開した。Llama 3.1 8BベースのMoEで、SFT・DPO・RPOによるアラインメントと合成データ生成パイプラインを配套した。 2024年9〜10月: Llama 3.1 Nemotron 51B/70BのInstruct/Rewardを公開し、推論トレースのOn/Offをシステムプロンプトで切り替える方式を普及させた。 2025年3月: Nemotron-H(8B/47B/56B)の論文を発表した(arXiv:2504.03624)。自己注意層の代わりにMamba層を使うハイブリッド構成を置き換えた形で導入した。 2025年4月: Llama 3.1 Nemotron Ultra 253B v1を公開し、Llama系の上位モデルをNemotronブランドで提供した。 2025年6月: Llama 3.1 Nemotron Nano VL 8B v1を公開し、視覚入力を扱えるラインを揃えた。 2025年8月: NVIDIA-Nemotron-Nano-9B-v2/12B-v2を公開した。NVIDIAがゼロから事前学習した主力で、Mamba-2とMLP層にAttention 6層を組み合わせる。 2025年10月: 埋め込みモデルのllama-nemotron-embed-1b-v2とリランキングモデルのllama-nemotron-rerank-1b-v2を公開し、RAGの周辺モデルもNemotronブランドで揃えた。 2025年12月: Nemotron 3 Nano 30B-A3Bを公開した(arXiv:2512.20848)。25兆トークンの事前学習と1Mトークンのコンテキストに対応する。 2026年3月: Nemotron 3 Super 120B-A12Bを公開した。LatentMoEとMTP層を組み合わせ、NVFP4事前学習レシピで学習している。 2026年4月: 音声と映像の入力を扱うNemotron 3 Nano Omni 30B-A3Bを公開した。 2026年6月: Nemotron 3 Ultra 550B-A55Bを公開した。55Bの活性パラメータで、日本語を含む10言語に対応する。 2026年8月: Nemotron 3.5 Lightning 30B-A3Bを公開した。BF16の基準重みとNVFP4の推論向け重みを揃え、投機的デコーディングも利用する。 2026年10月: 24GBメモリに収まるNemotron 3.5 Bolt 74B-A9Bと、マルチモーダル版のNemotron 3.5 Super VL 120B-A12B、埋め込みとリランキングの3.5版を公開した。

アーキテクチャ

Nemotron系の土台はMoE(混合エキスパート)とMamba-2の組み合わせになっている。 Nemotron-Hでは、Transformerの自己注意層の一部をMamba層に置き換え、生成トークンあたり定数の計算量と定数のメモリで処理する構成にした。 Nemotron 3 NanoはMamba-2とMoEの層が23層、Attention層が6層で、Mamba-2とMoEの層を交互に配置している。 MoE層には128エキスパートと1共有エキスパートがあり、1トークンあたり6エキスパートだけを活性化するため、30Bのモデルながら3.5Bのパラメータで推論できる。 Nemotron 3 SuperとUltraはLatentMoEとしてMamba-2層とMoE層を交互に配置し、さらにMTP(Multi-Token Prediction)層を加えて生成を早めている。事前学習はNVFP4のレシピで行われ、120B-A12Bは12B、550B-A55Bは55Bが活性化する。 Nemotron 3.5 LightningはMamba-2とMoEの交互配置に投機的デコーディングを組み合わせ、30Bの総パラメータと3Bの活性パラメータで動作する。推論のOn/Offはチャットテンプレートのフラグで制御し、vLLMではreasoning parserを読み込んで推論トレースと最終回答を分離する。ポストトレーニングはSFTと大規模RLで行われ、Nemotron-CCやNemotron-Post-Training-Dataset v3といった合成データに、Qwen3-235B-A22Bやgpt-oss-120b、DeepSeek-R1-0528などを教師とするトレースが混ざっている。

ワークフロー

用途でモデルを選ぶ(軽量な運用ならNanoやLightning、複雑なエージェント業務ならSuperやUltra)。 Hugging FaceからBF16/FP8/NVFP4/GGUFのいずれかを取得し、vLLMやSGLangでサーバーを起動する。推論のOn/Offをチャットテンプレートのフラグで指定する。推論Onの場合は応答時間を優先して、思考予算(thinking budget)で生成トークン数を制限する。ツール利用する場合はtool-call parserを有効にして、推論トレースとツール呼び出しを分けて扱う。本番ではbuild.nvidia.comのNIMコンテナやAPI経由で運用する。

コード例

vLLMでNemotron 3 Nanoを推論サーバーとして起動する

vllm serve nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 \
  --served-model-name model \
  --max-num-seqs 8 \
  --tensor-parallel-size 1 \
  --max-model-len 262144 \
  --port 8000 \
  --trust-remote-code \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --reasoning-parser-plugin nano_v3_reasoning_parser.py \
  --reasoning-parser nano_v3

transformersで推論オフ(enable_thinking=False)を使う

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id, device_map="auto", trust_remote_code=True
)

messages = [{"role": "user", "content": "2+2は?"}]
tokenized_chat = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    enable_thinking=False,
    add_generation_prompt=True,
    return_tensors="pt",
).to(model.device)

outputs = model.generate(
    tokenized_chat,
    max_new_tokens=32,
    do_sample=False,
    num_beams=1,
    eos_token_id=tokenizer.eos_token_id,
)
print(tokenizer.decode(outputs[0]))

利点

重み・学習データ・学習レシピがセットで公開されており、第三者による再現や検証がしやすい
1トークンあたりに活性化するパラメータが小さく、Mamba-2層とMoEの組み合わせで推論コストを抑えられる
1Mトークンのコンテキストに対応し、長文の解析やエージェントの作業記録を扱える
同じモデルで推論のOn/Offを切り替えられ、応答速度と精度を使い分けられる
日本語を含む多言語に対応し、BF16/FP8/NVFP4/GGUFなど量子化済みの重みも配布されている
ツール利用やエージェント動作に向けたポストトレーニングのデータと評価手順が公開されている

欠点

世代ごとにライセンスが異なり(NVIDIA Open Model License、NVIDIA Nemotron Open Model License、OpenMDW-1.1)、利用前に条件を確認する 필요하다
モデル名に階級(Nano/Super/Ultra/Lightning/Bolt)と精度(BF16/FP8/NVFP4/GGUF)が組み合わさっており、選ぶ基準が複雑になる
重みの入手にはライセンス同意が必要で、モデルごとに手順が異なる
モデルカードに掲載された評価は英語とコード領域が中心で、多言語の指標は限られる
性能比較はNVIDIA内の測定を中心に構成されており、第三者で再現するには追加の設定が必要になる

比較

Llama — 初期のNemotron-4-340BやLlama-NemotronはLlama 3.1 8Bを基盤にした派生モデルだったが、Nemotron-Nano-9B/12B-v2以降はNVIDIA自身がゼロから事前学習した独自モデルになる
Qwen — NemotronのポストトレーニングではQwen3-235B-A22BやQwen3-Next-80B-A3B-Thinkingが教師モデルとして使われており、合成データや蒸留の経路でQwenとの接点が多い
MoE — Nemotron 3ではMoE層をMamba-2層と交互に配置し、NanoはMoE層に128エキスパートと1共有エキスパートを置いて1トークンあたり6エキスパートのみを活性化する
Mamba — Nemotron-H以降では自己注意層の一部をMamba層に置き換え、生成トークンあたりの計算量とメモリを一定に保つハイブリッド構成が土台になっている
オープンウェイトモデル — Nemotronは重みだけでなく学習データと学習レシピも公開するため、オープンウェイトモデルの枠組みをさらに一段検証可能な形にしている
vLLM — Nemotron 3系は専用のreasoning parserとtool-call parserを同梱しており、vLLMでの起動コマンドがモデルカードにそのまま記載されている
推論モデル — 推論専用のモデルを別途用意するのではなく、チャットテンプレートのフラグで推論のOn/Offを切り替える統一モデルとして提供される

よくある質問

NemotronはLlamaやQwenの派生モデルですか?

初期のNemotron-4-340BやLlama-NemotronはLlama 3.1 8Bを基盤にしていたが、Nemotron-Nano-9B-v2/12B-v2以降はNVIDIA自身がゼロから事前学習したモデルになっている。派生先として扱うか新規のモデルとして扱うかは、使う世代で変わる。

推論のOn/Offはどうやって切り替えますか?

チャットテンプレートのフラグで切り替える。transformersから使う場合はapply_chat_templateへenable_thinking=Falseを渡す。vLLMで動かす場合はreasoning parserを指定し、サーバーに送ったリクエスト側のchat_template_kwargsで切り替える方法もある。

商用利用はできますか?

世代ごとにライセンスが異なる。Nemotron-4-340BはNVIDIA Open Model License、Nemotron 3はNVIDIA Nemotron Open Model License、Nemotron 3.5はOpenMDW-1.1が適用される。使うモデルのライセンス条件を事前に確認する必要がある。

自社のGPUで動かせますか?

BF16/FP8/NVFP4/GGUFの重みが公開されているので、vLLMやSGLangで自社環境に置いて動かせる。導入の前提として、NVIDIAのNIMコンテナとAPIもbuild.nvidia.comで提供されている。

参考文献

Official WebsiteNVIDIA Nemotron AI Models (開発者ページ)
Official WebsiteNemotron 3 Nano 30B-A3B (build.nvidia.com)
Research PaperNemotron 3 Nano: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning (arXiv)
Research PaperNemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models (arXiv)
Research PaperNemotron-4 340B Technical Report (NVIDIA Research)
Research PaperNemotron 3 Super Technical Report (NVIDIA Research)
DocumentationNemotron 3 Nano 30B-A3B モデルカード (Hugging Face)
GitHubNVIDIA-NeMo/Nemotron ( cookbooksとサンプル)