Re Reference AI

モデル

LongCat(LongCat-Flash)とは

LongCat-Flash / Meituan LongCat

中国Meituan(美団)が公開するオープンウェイトのLLMファミリー。LongCat-Flashは560BパラメータのMoEモデルで、ツール利用を伴うエージェント的な作業に強みを持つ

LLMオープンウェイトスパースモデル

最終更新:

ひとことで言うと

中国Meituan(美団)が作っているオープンウェイトのAIモデルシリーズ。MoE(混合専門家)構造を使い、ツールで最後まで作業を終わらせるエージェント的な作業に強い。

概要

LongCat(美団LongCat)とは、中国の大手生活サービス企業Meituan(美団)が開発し、Hugging FaceとGitHubで重みを公開しているLLMファミリー。 2025年8月に最初の一式としてLongCat-Flash-Chatを公開し、総パラメータ560BのMoE(Mixture-of-Experts)モデルとして紹介された。1トークンあたり18.6B〜31.3B(平均約27B)のパラメータだけを動的に活性化し、128kのコンテキスト長に対応する。 2025年9月には推論特化版のLongCat-Flash-Thinkingを公開し、非同期強化学習の基盤DORAと領域並列RLを用いて数学・論理・プログラミング・自動定理証明・ツール利用を重点的に強化している。 その後は音声・画像・動画入力に対応するLongCat-Flash-Omniと、動画生成のLongCat-Videoと、画像生成のLongCat-Imageが順に追加された。 小規模向けのLongCat-Flash-Lite(総68.5B・約3B活性化)も2026年1月に公開された。2026年7月には、総パラメータ1.6兆・1トークンあたり約48Bが活性化するLongCat-2.0も公開されている。 重みとソースコードはMITライセンスで公開されており、SGLangとvLLMによるセルフホストにも対応している。

背景

LongCatは、中国の大手生活サービス企業Meituan(美団)が自社で設計・訓練し、公開しているLLMファミリー。最初の一式を公開した後は、推論特化版、オムニ版、画像生成版、動画生成版、自動定理証明対応版と役割の異なるモデルを連続で公開している。 重みは当初からMITライセンスで公開されており、商用利用や二次利用に関する制限は設けられていない。LongCat-2.0では事前学習と大规模デプロイの双方を自社が整備したAI ASICのスーパーポッドで実行しており、GPU以外のアクセラレータで1.6兆パラメータ規模を訓練した事例として紹介されている。

歴史

2025年8月: Meituan(美団)がオープンウェイトLLM「LongCat-Flash-Chat」をHugging FaceとGitHubで公開した。総パラメータ560B、1トークンあたり約27Bを活性化するMoEモデルで、MITライセンスで配布された。 2025年9月: 推論特化モデル「LongCat-Flash-Thinking」を公開した。非同期強化学習の基盤DORAと領域並列RLを用いた学習手法を含む。 2025年10月: 音声・動画に対応する「LongCat-Flash-Omni」と、動画生成モデル「LongCat-Video」を公開した。 2025年12月: 画像生成モデル「LongCat-Image」を公開した。 2026年1月: 「LongCat-Flash-Thinking-2601」と「LongCat-Flash-Lite」を公開した。Liteは総68.5B・約3B活性化の小型MoEモデルで、256kのコンテキスト長に対応する。 2026年3月: 自動定理証明に対応した「LongCat-Flash-Prover」を公開した。 2026年7月: 総パラメータ1.6兆の「LongCat-2.0」を公開した。1Mコンテキストの学習データを使用し、LongCat Sparse AttentionとN-gram Embeddingを採用する。

アーキテクチャ

LongCat-FlashはデコーダのみのTransformerにMoEを組み合わせた設計で、総パラメータ560Bに対して、ゼロ計算エキスパートを組み合わせた動的ルーティングによって1トークンあたり18.6B〜31.3B(平均約27B)のみを活性化する。活性化するパラメータ量の偏りは、PIDコントローラでエキスパートバイアスを調整して平均値に収束させている。 MoEの規模拡大で問題になる通信オーバーヘッドに対しては、Shortcut-connected MoE(ScMoE)を採用して計算と通信のオーバーラップ区間を広げ、100TPSを超える推論速度を実現している。 中段階の事前学習では推論・コーディング能力を強化しながらコンテキスト長を128kへ拡張し、その後の多段階ポストトレーニングでは、複数エージェントによるデータ合成を通じてツール利用の習熟を高めている。 後続のLongCat-Flash-Lite(総68.5B・約3B活性化)はN-gram Embeddingを30B超の埋込みパラメータとして組み込み、YaRNによって256kのコンテキスト長に対応する。LongCat-2.0(総1.6兆・約48B活性化)ではLongCat Sparse Attention(LSA)とN-gram Embedding(135Bパラメータ)を採用し、1Mコンテキストの学習データで学習している。

ワークフロー

LongCat-Flash-Chatの重みはHugging Faceで公開されており、FP8なら1ノード(例: 8xH20-141G)、BF16なら2ノード(例: 16xH800-80G)の用意が前提となる。 SGLangとvLLMの両方に起動用の設定例が整備されており、Tensor ParallelismとExpert Parallelismを有効にして推論サーバーを立ち上げる構成が基本となる。 チャットテンプレートは「[Round 0] USER:{query} ASSISTANT:」という独自形式であり、ツール呼び出しは<longcat_tool_call>タグで記述する。

コード例

SGLangで単一ノードにFP8版を展開する

python3 -m sglang.launch_server \
    --model meituan-longcat/LongCat-Flash-Chat-FP8 \
    --trust-remote-code \
    --attention-backend flashinfer \
    --enable-ep-moe \
    --tp 8

vLLMで単一ノードにFP8版を展開する

vllm serve meituan-longcat/LongCat-Flash-Chat-FP8 \
    --trust-remote-code \
    --enable-expert-parallel \
    --tensor-parallel-size 8

チャットテンプレートの書式

SYSTEM:{system_prompt} [Round 0] USER:{query} ASSISTANT:

利点

  • 重みとソースコードがMITライセンスで公開されており、商用利用や二次配布、改変を含む派生モデルの作成が可能
  • 総パラメータ560Bの規模を確保しながら、1トークンあたりに活性化するパラメータを平均約27Bに抑えている
  • ツール呼び出しを前提としたエージェント的な作業に最適化されており、τ²-BenchやTerminalBenchといったベンチマークで同等規模の他モデルと同水準の結果が報告されている
  • SGLangとvLLMの両方に起動設定が整備され、FP8量子化版の重みも配布されている

欠点

  • 総パラメータ560Bを持つため、FP8のホスティングでも1ノード(例: 8xH20-141G)が必要で、BF16運用では2ノードを要する。開発環境での手元推論には負担が大きい
  • モデルカードでは言語ごとの性能差が既知の制約として挙げられており、日本語での応答品質は別途評価する必要がある
  • LongCat-2.0(総1.6兆)は自社が整備したASICスーパーポッドで訓練されており、同じ条件での再現には多大な計算資源を要する

比較

  • MoE — LongCat-FlashはMoEを採用したモデルで、ゼロ計算エキスパートとPIDコントローラによる動的ルーティングを組み合わせ、トークンごとに活性化するパラメータ数を18.6B〜31.3Bの範囲で変動させる
  • DeepSeek — LongCatとDeepSeekはいずれも中国発のオープンウェイトMoEモデルで、1トークンあたりの活性パラメータを抑えつつ大規模化している点が共通する。LongCat-Flashは560B/約27B、DeepSeek-V3.1は671B/37Bと構成が異なる
  • Qwen — QwenとLongCatはいずれも中国発のオープンウェイトLLMだが、Qwenが用途別の派生モデルを多数展開する方針であるのに対し、LongCatは推論特化版、オムニ版、画像・動画生成版と方式の異なるモデルを別名称で公開している
  • Kimi — LongCat-Flash(560B/約27B)とKimi K2(1043B/32B)はともにオープンウェイトのMoEモデルで、1トークンあたりの活性パラメータは同程度の規模に収まっている

関連する用語

DeepSeekQwenKimiGLMLagunaMoEツールコーリングLlamaMistralPhiGemmaOrnith

よくある質問

LongCatのモデルはどの状態で使えるか。

重みとソースコードがMITライセンスで公開されており、Hugging Faceからダウンロードできる。LongCat-Flash-ChatはFP8なら1ノード(8xH20-141G程度)、BF16なら2ノード(16xH800-80G程度)が必要で、SGLangとvLLMの両方に起動用の設定例が提供されている。チャットはlongcat.aiから利用できる。

LongCat-Flash-ChatとLongCat-Flash-Thinkingの違いは。

LongCat-Flash-Chatは非思考型の基盤モデルで、ツール呼び出しを伴うエージェント的な処理を軸に最適化されている。LongCat-Flash-Thinkingは推論特化のモデルで、長い思考過程を挟んで数学・論理・プログラミング・自動定理証明などの課題に対応し、非同期強化学習の基盤DORAと領域並列RLの学習手順を用いる。

参考文献