Re Reference AI

ローカルLLMとは?関連技術・用語一覧

ローカルLLMは、クラウドAPIを使わず手元のマシンで動作させるLLMです。プライバシー保護・オフライン動作・コスト管理の利点があり、llama.cppやOllamaなどのツールで手軽に実行できます。

ローカルLLMに関連する用語(7件)。定義・仕組みはローカルLLMの用語ページで解説。

ローカルLLM関連の技術(1件)

ローカルLLM

Local LLM

クラウドAPIを介さず、自分のPCやオンプレミス環境で実行するLLMの運用形態

技術ローカルLLMプライバシー

ローカルLLM関連のインフラ(6件)

Ollama

コマンド1つでLLMをローカル環境にダウンロードし実行できる、オープンソースのツール

インフラローカルLLM推論

LM Studio

GUI操作でローカルLLMのダウンロード・実行・チャットができる、デスクトップアプリケーション

インフラローカルLLMGUI

Open WebUI

Ollama WebUI

OllamaやOpenAI互換APIと連携できる、セルフホスト型のオープンソースLLMチャットUI

インフラUIローカルLLM

ミニPC

Mini PC

一般的なデスクトップPCより小さい筐体に収めた小型のPC

インフラハードウェアローカルLLM

iGPU

Integrated GPU / 内蔵GPU / 統合GPU

CPUと同じチップやパッケージに統合され、メインメモリを共有して動作するGPU

インフラハードウェアローカルLLM

Strata

GPUとCPUで計算を分担し、VRAM・RAM・SSDを活用して、大規模なMoEモデルを一般的なPCで動かすことを狙ったオープンソースの推論エンジン

インフラローカルLLM推論MoE

関連するタグ

推論ハードウェアプライバシー