Re Reference AI

技術

LlamaIndex(ラマインデックス)とは

GPT Index / ラマインデックス

社内文書などの外部データをLLMにつなぎ、RAGアプリケーションを構築するためのデータフレームワーク

RAGフレームワーク

最終更新:

概要

LlamaIndexは、LLMと外部データを接続するためのオープンソースのフレームワーク。PDF・Webページ・データベース・SaaSなどからデータを読み込むコネクタ、文書をチャンクに分割して埋め込みベクトルに変換するインデックス作成、質問に応じて関連チャンクを検索してLLMに渡すクエリエンジンをひと通り備えており、RAGアプリケーションを少ないコードで組み立てられる。 PythonとTypeScriptの実装があり、ベクトルデータベースや埋め込みモデル、LLMのプロバイダーを差し替えられる。近年はRAGに加えて、ツールを使うエージェントや複数ステップの処理を記述するワークフローの機能も提供している。LangChainと用途が重なる部分もある。LlamaIndexは、データの取り込み・インデックス化・検索に関する機能を特に充実させている。

歴史

2022年11月にJerry Liuが「GPT Index」という名前で公開し、のちにLlamaIndexへ改名した。2023年には開発元として同名の企業が設立されている。

利点

  • データの読み込みから検索・回答生成までを少ないコードで組み立てられる
  • 多数のデータコネクタやベクトルデータベースとの連携が用意されている

欠点

  • 抽象化の層が多く、内部で何が起きているかを追いにくい場合がある
  • 開発が速くAPIの変更が多いため、バージョン更新時に修正が必要になりやすい

関連する用語

LangChainHaystackEmbeddingベクトルデータベースチャンキングRAGチャンク埋め込みモデルPyTorchセマンティック検索ハイブリッド検索リランカー

参考文献