ローカルLLMとは?関連技術・用語一覧
ローカルLLMは、クラウドAPIを使わず手元のマシンで動作させるLLMです。プライバシー保護・オフライン動作・コスト管理の利点があり、llama.cppやOllamaなどのツールで手軽に実行できます。
ローカルLLMに関連する用語(7件)。定義・仕組みはローカルLLMの用語ページで解説。
ローカルLLM関連の技術(1件)
ローカルLLM関連のインフラ(6件)
Ollama
コマンド1つでLLMをローカル環境にダウンロードし実行できる、オープンソースのツール
インフラローカルLLM推論
LM Studio
GUI操作でローカルLLMのダウンロード・実行・チャットができる、デスクトップアプリケーション
インフラローカルLLMGUI
Open WebUI
Ollama WebUI
OllamaやOpenAI互換APIと連携できる、セルフホスト型のオープンソースLLMチャットUI
インフラUIローカルLLM
ミニPC
Mini PC
一般的なデスクトップPCより小さい筐体に収めた小型のPC
インフラハードウェアローカルLLM
iGPU
Integrated GPU / 内蔵GPU / 統合GPU
CPUと同じチップやパッケージに統合され、メインメモリを共有して動作するGPU
インフラハードウェアローカルLLM
Strata
GPUとCPUで計算を分担し、VRAM・RAM・SSDを活用して、大規模なMoEモデルを一般的なPCで動かすことを狙ったオープンソースの推論エンジン
インフラローカルLLM推論MoE