llms.txtとは
llms-full.txt
WebサイトのルートにMarkdown形式で置き、LLMにサイトの概要と主要コンテンツを伝える提案仕様
ひとことで言うと
Webサイトの入り口に置く「AI向けの案内板」。サイトの概要と大事なページの一覧をAIが読みやすい形式で書いておき、AIがサイトの内容を正しく理解できるようにする。
概要
llms.txtとは、Webサイトのルート直下（/llms.txt）にMarkdown形式のファイルを置き、LLMやAIエージェントに向けてサイトの概要と主要コンテンツへのリンクを提供する提案仕様を指す。 WebページのHTMLにはナビゲーション・広告・スクリプトなどのノイズが多く、コンテキストウィンドウに制約のあるLLMが内容を把握するには非効率だという問題意識から提案された。 ファイルにはサイト名と概要、重要なページへのリンク一覧を決められた構造のMarkdownで記述する。派生として、サイトの全コンテンツを1つのファイルにまとめたllms-full.txtを併せて提供する慣行もある。 クローラのアクセス制御を扱うrobots.txtと異なり、llms.txtはアクセスを許可したうえで内容理解を助けることを目的とする。ドキュメントサイトを中心に採用が広がる一方、主要なAIサービスのクローラが公式に参照を保証しているわけではない点には注意が必要になる。
背景
AIチャットやAIエージェントがWebサイトを参照して回答する場面が増え、サイト運営者側にはAIに内容を正しく理解・引用してほしいという動機が生まれた。 HTMLのままではノイズが多くトークン効率も悪いため、AI向けに整理した入り口を標準的な場所に置くという発想が支持された。
歴史
2024年9月にAnswer.AIの共同創業者Jeremy Howardが提案した。以降、開発者向けドキュメントサイトを中心に採用が広がっている。
比較
- LLMO — LLMOがLLMの回答内で自社コンテンツに言及されるための施策全般を指すのに対し、llms.txtはその具体的な手段の1つとなりうる、サイト情報をAI向けに提供するファイル仕様
関連用語
よくある質問
llms.txtを置けばAIに引用されやすくなるのか？
主要なAIサービスのクローラがllms.txtの参照を公式に保証しているわけではないため、設置すれば必ず引用されやすくなるとは言えない。現状はAIフレンドリーなサイト構造を示す提案仕様であり、効果はサービス側の対応状況に依存する。
robots.txtとは何が違うのか？
robots.txtはクローラのアクセス可否を制御する仕組みであるのに対し、llms.txtはアクセスを許可した上でLLMに向けてサイトの概要と主要コンテンツを分かりやすく伝えるための案内ファイルであり、目的が異なる。
参考文献
- Official Websitellms.txt 公式サイト