Strataとは
GPUとCPUで計算を分担し、VRAM・RAM・SSDを活用して、大規模なMoEモデルを一般的なPCで動かすことを狙ったオープンソースの推論エンジン
最終更新:
ひとことで言うと
本来はサーバー級のGPUが必要な大きなAIモデルを、グラフィックボード・メモリ・SSDを分担させて、家庭用のPCで動かせるようにするソフトウェア。
概要
Strata(ストラタ)とは、Qwen3.8-Flash-Nextのような大規模なMoE(Mixture of Experts)モデルを、12〜24GB程度のVRAMを持つ一般的なPCで動かすことを目的とした、MITライセンスのオープンソース推論エンジン。 MoEモデルは1トークンの生成に一部のエキスパートしか使わない性質を持つ。Strataはこれを利用し、よく使われるエキスパートをGPUのVRAMに、全エキスパートをシステムRAMに、n-gramテーブルをSSDに置くという形で階層的に配置する。VRAMに載っていないエキスパートはCPUがRAM上でそのまま計算し、GPUの処理と並行して進める。 モデル内蔵のMTP(Multi-Token Prediction)層による投機的デコーディングも組み込まれており、出力を変えずに生成を高速化する。 デスクトップアプリとターミナルアプリ(`strata launch`)が提供され、ローカルでOpenAI互換・Anthropic互換のAPIを公開するため、Claude CodeやCodex CLI等のコーディングツールから接続して利用できる。対応モデルはQwen3.8-Flash-Nextを中心に、Qwen3.6-35B-A3BやDeepSeekV4.1-Flash-1017などに広がっている。
背景
Qwen3.8-Flash-Nextのような大規模MoEモデルは、通常は数百GBのGPUメモリを持つサーバーで動かすことが想定されている。一方、個人のPCのグラフィックボードは12〜24GB程度のVRAMしか持たない。 Strataは、MoEモデルが1トークンあたり少数のエキスパートしか使わない点に着目し、GPU・CPU・RAM・SSDというPC全体の資源に処理と重みを分散させることで、このギャップを埋めることを狙って開発された。
歴史
2026年9月: Niko1221氏がGitHubでStrataを公開し、v0.1.0をリリースした。 2026年10月時点で、NVIDIA・AMD・Intel ArcのGPUやApple Silicon、AMD Ryzen AI Max(Strix Halo)への対応が進み、DeepSeekV4.1-Flash-1017等の対応モデルも追加されている。
アーキテクチャ
- GPU(VRAM): アテンション層・ルーター・共有エキスパート・出力ヘッド・MTPのドラフト層・KVキャッシュに加え、残りのVRAMを使用頻度の高いエキスパートのキャッシュに充てる。キャッシュの中身は会話の内容に合わせて入れ替わる。 - RAM: 全エキスパート(Qwen3.8-Flash-Nextでは24,576個)を保持する。GPUにないエキスパートはCPUがAVX-512/AVX2カーネルでRAM上のまま計算し、GPUと並行して処理する。 - SSD: 約28.8GBのn-gramテーブルを置き、1トークンごとに数行だけを読み出す。 - 投機的デコーディング: モデル内蔵のMTP層が最大3トークンを先読みで生成し、本体モデルが1回のパスでまとめて検証する。本体モデルが全トークンを判定するため、出力の品質は変わらない。 - 一部にllama.cpp/ggmlのコードを利用しており、NVIDIA(CUDA)とAMD(HIP)で同じエンジンを各環境向けにコンパイルして動作する。
利点
- VRAMに収まらない規模のMoEモデルを、一般的なゲーミングPC程度の構成で動かせる
- MTPによる投機的デコーディングで、出力を変えずに生成を高速化できる
- OpenAI互換・Anthropic互換のAPIを提供し、既存のコーディングツールから接続しやすい
欠点
比較
関連する用語
参考文献
- GitHubNiko1221/Strata
- DocumentationHow does Strata work?