インフラ
インフラに分類される用語（46件）
インフラは、LLMを学習・推論するための計算基盤・実行環境を指す分類です。GPU・推論サービング基盤(vLLM・SGLang等)・ローカルLLM実行ツール(Ollama等)といった基盤技術が含まれます。
用語一覧
GPU
Graphics Processing Unit / グラフィックス処理装置
大量の演算を並列処理できる専用プロセッサで、深層学習の学習・推論を支える計算基盤
CUDA
Compute Unified Device Architecture
NVIDIA製GPU上で汎用並列計算を行うための並列計算プラットフォーム・プログラミングモデル
ベクトルデータベース
Vector Database
埋め込みベクトルを高速に類似検索できるよう設計されたデータベース
TPU
Tensor Processing Unit
Googleが開発した、ニューラルネットワークの行列演算に特化した専用プロセッサ
NPU
Neural Processing Unit
スマートフォンやPCなど、エッジデバイス上でニューラルネットワークの推論を効率的に処理する専用プロセッサ
vLLM
PagedAttentionによりGPUメモリを効率利用する、高スループットなオープンソースLLM推論・サービングエンジン
Ollama
コマンド1つでLLMをローカル環境にダウンロードし実行できる、オープンソースのツール
LM Studio
GUI操作でローカルLLMのダウンロード・実行・チャットができる、デスクトップアプリケーション
llama.cpp
C/C++で実装された、CPUでも動作する軽量なLLM推論ライブラリ
Open WebUI
Ollama WebUI
OllamaやOpenAI互換APIと連携できる、セルフホスト型のオープンソースLLMチャットUI
ROCm
Radeon Open Compute
AMD GPUで汎用計算するためのオープンソースの並列計算プラットフォーム
TensorRT
NVIDIA TensorRT
NVIDIA GPU上での推論を高速化する、NVIDIA製の推論最適化SDK
Bedrock
Amazon Bedrock
AWSが提供する、複数のAIプロバイダの基盤モデルを単一APIで呼び出せるフルマネージドサービス
MLflow
機械学習の実験管理・モデル管理・デプロイをフレームワーク非依存で扱うオープンソースプラットフォーム
LLMOps
LLM Operations
LLMを組み込んだアプリケーションの開発・評価・デプロイ・運用を継続的に行うための一連のプラクティスと基盤
エッジAI
Edge AI
クラウド上のサーバーではなく、スマートフォンやIoT機器等の端末上でAIモデルを推論する仕組み
Triton Inference Server
Triton
NVIDIAが提供する、複数のフレームワークで学習したモデルを統一的にデプロイ・実行できるオープンソースの推論サーバー
Ray
Pythonの並列・分散処理を簡単に書けるようにする、機械学習ワークロード向けのオープンソース分散実行フレームワーク
Hugging Face
HF
学習済みモデル・データセット・ライブラリを公開・共有するオープンソースのAIコミュニティプラットフォーム
LLM Gateway
LLMゲートウェイ
複数のLLMプロバイダへのAPI呼び出しを単一の窓口に集約し、ルーティング・認証・コスト管理などを一元化するミドルウェア
Faiss
Facebook AI Similarity Search
Meta(旧Facebook)が開発した、高次元ベクトルの類似検索・クラスタリング向けオープンソースライブラリ
OpenTelemetry
OTel
アプリケーションのトレース・メトリクス・ログを収集するためのベンダー中立なオブザーバビリティ標準
AI IDE
AI統合開発環境
コード補完だけでなく、複数ファイルの編集やエージェント機能をエディタに統合したAI搭載の統合開発環境
Model Router
モデルルーター / LLMルーター
リクエストの内容や要求される品質・コストに応じて、複数のLLMから最適なモデルを自動的に選択して振り分ける仕組み
ソブリンAI
Sovereign AI / 主権AI
自国のデータ・インフラ・人材を用いて、国家が自律的にAI能力を構築・管理するという考え方
SGLang
sgl-project
RadixAttentionによる接頭辞キャッシュの再利用を特徴とする、オープンソースのLLM推論サービング基盤
Groq
GroqCloud / LPU
LLM推論に特化した独自チップLPUを開発する半導体企業と、その高速推論クラウドサービス
DeepSpeed
ZeRO
ZeROによる分散学習を中心に、大規模モデルの学習・推論を効率化するMicrosoftのオープンソースライブラリ
Weights & Biases
W&B / wandb
機械学習の実験管理を中心とするMLOpsプラットフォーム。LLM向けのトレース・評価機能も提供
Cursor
VS Codeをフォークし、チャットや複数ファイル編集などのAI機能をエディタに統合したAI IDE
MediaPipe
顔検出・姿勢推定・手指トラッキング等のリアルタイム推論パイプラインをモバイル/Web/エッジ上に構築できるGoogleのオープンソースフレームワーク
ML Kit
ML Kit for Firebase
テキスト認識・バーコードスキャン・顔検出等の学習済みモデルをAndroid/iOSアプリへ組み込める、Googleのオンデバイス機械学習SDK
TinyML
マイクロコントローラ等の超低消費電力・低リソース組み込み機器上で機械学習モデルを動作させる技術分野
インテリジェントビジョンセンサー
Intelligent Vision Sensor / AIセンサー
撮像回路にAI推論用のプロセッサとメモリを一体化し、撮像からAI処理までをセンサー単体で完結できるイメージセンサー
スマート人感センサー
AI人感センサー
PIRやミリ波レーダー等の人感センサーにAIによる誤検知抑制・環境学習機能を組み合わせ、人の在不在を高精度に検知するセンサー
スマートホーム
Smart Home
IoT機器・AIスマートスピーカー等を組み合わせ、家電の遠隔操作や生活パターンの学習による自動化を実現する住宅
FastMCP
PythonでMCPサーバー・クライアントを簡潔なデコレータ構文で構築できる、事実上標準のMCPフレームワーク
Windsurf
Codeium
AIエージェント機能「Cascade」を統合したAIネイティブの統合開発環境(IDE)
Pinecone
フルマネージドで提供される、ベクトル検索に特化したクラウドデータベースサービス
Weaviate
スキーマ定義とハイブリッド検索(ベクトル+キーワード)を備えたオープンソースのベクトルデータベース
Milvus
大規模なベクトルデータの分散処理に対応したオープンソースのベクトルデータベース
Qdrant
Rustで実装された、高速な検索性能とフィルタリング機能を特徴とするオープンソースのベクトルデータベース
Chroma
ChromaDB
アプリケーションに組み込みやすい、軽量なオープンソースのベクトルデータベース
pgvector
PostgreSQLにベクトル型と類似検索機能を追加する、オープンソースの拡張機能
llm-d
Kubernetes上でLLM推論を分散オーケストレーションする、vLLMをベースにしたオープンソースの推論サービングフレームワーク
TUI
テキストユーザーインターフェース / Text-based User Interface / ターミナルUI
端末画面上の文字だけで構成する対話的なユーザーインターフェースで、コーディングエージェントの標準的な操作画面として使われる