長文脈理解の限界とは
Long-Context Limitations / Lost in the Middle
コンテキストウィンドウが長くなるほど、入力中の情報を正確に参照・活用する精度が低下する現象
概要
LLMは公称のコンテキストウィンドウ上限まで入力を受け付けられても、入力が長くなるほど途中に埋め込まれた情報を正確に取り出す精度は低下しやすい。特に入力の中央付近に配置された情報の参照精度が、先頭や末尾に比べて低くなる「Lost in the Middle」と呼ばれる現象が知られる。Needle in a Haystackのような評価手法は、この限界を可視化するために考案された。ウィンドウ長を伸ばす技術的進歩と、その全域を実際に活用できる能力とは別問題であることを示している。
歴史
2023年: Liu et al.が論文"Lost in the Middle: How Language Models Use Long Contexts"を発表。入力中央部の情報参照精度が低下する現象を報告した。同年には、Greg Kamradt考案のNeedle in a Haystackテストが、長文脈内の情報検索精度を測る評価手法として広まった。
比較
- ロングコンテキスト — ロングコンテキストは長い入力を処理する能力を指すが、その全域を精度良く活用できるとは限らない
- Needle in a Haystack — Needle in a Haystackは長文脈理解の限界を測定するための代表的な評価手法