技術

検索(Retrieval)と生成モデルを組み合わせ、外部知識に基づいて出力を根拠づける手法

事前学習済みモデルを追加学習し、特定タスクやドメインへ適応させる手法

言語モデルの学習・分析に使われる、構造化されたテキストデータの集合

コンピュータに人間の言語を理解・生成・分析させるための技術分野

多数の層を持つニューラルネットワークを用いてデータから高次の特徴表現を自動学習する機械学習手法

動的計算グラフとPython親和性の高いAPIを特徴とする、オープンソースの機械学習フレームワーク

LLMが事実に基づかない内容を、もっともらしく生成してしまう現象

LLMなど自然言語処理モデルがテキストを入出力する際に扱う最小の処理単位

低ランク行列の追加学習により、事前学習済みモデルを効率的にファインチューニングする手法

あるタスク・ドメインで学習したモデルの知識を、別の関連タスク・ドメインへ再利用する機械学習の手法

LLMが一度の推論で参照できる入力・出力トークンの合計量の上限

テキストなどのデータを、意味的な近さを反映した高次元の実数ベクトルへ変換した表現

LLMに入力する指示・質問・文脈などのテキスト

LLMから望む出力を引き出すために、プロンプトの書き方を設計・改善する手法

会話の冒頭でLLMに与える、応答全体の振る舞いや役割を規定する特別な指示

最終的な答えに至る過程を段階的に言語化させることで、LLMの推論精度を高めるプロンプティング手法

LLMの出力トークン選択のランダム性を調整する、確率分布のサンプリングパラメータ

累積確率が閾値 p に達するまでの上位トークン群だけからサンプリングする、核サンプリング手法

確率が高い上位 k 個のトークンのみを候補に絞ってサンプリングする手法

乱数生成の初期値。同じ値を指定することでLLMの出力サンプリング結果を再現できる

LLMの出力を人間の意図・価値観・安全基準に沿わせるための研究・技術分野

人間による応答の選好評価を報酬信号として、強化学習でLLMの応答を人間の意図に近づける手法

大規模な教師モデルの出力を模倣させることで、小規模な生徒モデルへ知識を移す学習手法

モデルの重みや計算を低ビット精度の数値表現に変換し、モデルサイズと推論コストを削減する手法

自己回帰生成において、過去のKey・ValueベクトルをGPUメモリに保持し再利用する推論最適化の仕組み

RAGなどで文書を検索・処理しやすい単位に分割した、テキストの断片

長い文書を、検索や埋め込み生成に適した大きさのチャンクへ分割する処理

キーワードの一致ではなく、埋め込みベクトルによる意味的な類似度に基づいて検索する手法

セマンティック検索とキーワード検索を組み合わせ、双方の長所を活かす検索手法

単語の出現頻度と文書長を考慮してスコアリングする、キーワードベースの検索アルゴリズム

初期検索で取得した候補群を、より高精度なモデルで並べ替える2段階目の検索コンポーネント

文書に付随するメタデータの条件でベクトル検索の対象を絞り込む仕組み

学習済みモデルへ入力を与え、出力を計算する処理

モデルが計算した確率分布から、次に出力するトークンを実際に選び取る処理

小規模な下書きモデルに複数トークンを先に生成させ、本体モデルで一括検証し生成を高速化する手法

複数の候補系列を並行して保持・評価しながら、より高い確率の系列全体を探索するデコーディング手法

LLMが生成したトークンを、完成を待たずに逐次クライアントへ送信する応答方式

複数の推論リクエストをまとめて処理し、GPUの利用効率とスループットを高める手法

LLMアプリケーションの構築を、部品の組み合わせ(チェーン)として簡単にするPython/JavaScriptフレームワーク

検索・質問応答システムの構築を起源とする、RAGパイプライン構築向けのオープンソースフレームワーク

LLMアプリケーションをビジュアルなワークフロー画面で構築・運用できるオープンソースのLLMOpsプラットフォーム

ノードをドラッグ&ドロップで接続し、LLMアプリケーションを視覚的に構築するオープンソースツール

LLMノードにも対応した、ノードベースで業務プロセスを自動化するワークフロー自動化ツール

量子化されたモデルの重みとメタデータを1ファイルにまとめた、llama.cpp発のモデル配布フォーマット

異なる機械学習フレームワーク間でモデルを共通形式として扱えるようにする、オープンなモデル形式

16ビットで数値を表現する浮動小数点フォーマット。学習・推論の高速化とメモリ削減に使われる

数値を8ビットの整数で表現する、量子化でよく用いられる数値形式

数値を4ビットの整数で表現する、LLMの大幅な軽量化に用いられる量子化精度

悪意ある指示を入力に紛れ込ませ、LLMに開発者の意図しない挙動をさせる攻撃手法

特殊なプロンプトによってLLMに組み込まれた安全性の制約を回避させる手法

学習データに悪意あるデータを混入させ、モデルの挙動を意図的に歪ませる攻撃手法

LLMアプリケーションの入出力を監視・制御し、有害な出力や情報漏洩を防ぐための仕組み

氏名・住所・連絡先等、個人を特定できる情報の総称

攻撃者の視点でモデルやシステムの脆弱性を能動的に発見する、AIの安全性検証手法

ChatGPTやPerplexity等のLLMベースの検索・応答サービスに自社コンテンツが引用・言及されやすくなるよう最適化する取り組み

検索エンジンに限らず、AIが介在する様々な情報接点で自社コンテンツが見つかりやすく・使われやすくなるよう最適化する取り組みの総称

プロンプト内にタスクの入力・出力例をいくつか示すことで、追加学習なしにLLMへ望む出力形式を伝える手法

明示的なルールを人手でプログラムする代わりに、データからパターンを学習し予測・判断するアルゴリズムの総称

各ノードが状態、各エッジが行動・選択を表す木構造を辿ることで、目標状態や最適解を探し出す探索手法

「甲が乙と関係し、乙が丙と関係するならば、甲も丙と関係する」という、関係の連鎖を保証する論理的性質

ある領域における概念・属性・関係を、機械が処理できる形で形式的に定義した語彙・知識の体系

人間が持つ常識的な知識を、述語論理の公理として大規模にエンコードすることを目指した記号主義AIの知識ベースプロジェクト

データの特徴量に対する条件分岐を木構造として繰り返し、分類・回帰を予測する機械学習モデル

多数の決定木をランダムな条件下で学習させ、それらの予測を多数決・平均で統合するアンサンブル学習手法

弱い予測モデルを1つずつ順番に追加し、直前までの予測誤差を勾配降下法的に修正しながら精度を高めるアンサンブル学習手法

複数の予測モデルの出力を組み合わせることで、単体のモデルより高い予測性能を実現する機械学習の手法群

クラス間のマージンを最大化する境界を見つけることで分類・回帰する機械学習モデル

特徴量の線形結合をシグモイド関数で確率に変換し、2値分類する統計的機械学習モデル

RNNを時間方向に展開した計算グラフに対して誤差逆伝播法を適用し、各時刻の重みを学習するアルゴリズム

時間の経過に沿って一定間隔または連続的に観測・記録された、順序に意味のあるデータ

物体検出タスクにおいて、画像内の対象物の位置と範囲を囲んで示す矩形の座標情報

テキストを連続するN個の単語・文字の並びに区切って扱う、統計的言語モデルの基礎となる表現手法

直接観測できない状態の遷移を仮定し、観測データからその隠れた状態系列を推定する統計モデル

ランダムなシミュレーションの結果を用いて有望な手を評価しながら探索木を成長させる探索アルゴリズム

テキスト・画像・音声・動画等、複数の種類(モダリティ)のデータを組み合わせて扱うAIの性質・手法

出力の誤差を出力層から入力層へ逆向きに伝播させ、各重みの勾配を効率的に計算するニューラルネットワークの学習アルゴリズム

損失関数の勾配の逆方向へパラメータを少しずつ更新し、損失を最小化する最適化アルゴリズム

モデルが学習データの細部やノイズまで過剰に適合し、未知のデータに対する予測性能が低下する現象

学習時にニューロンの一部をランダムに無効化し、過学習を抑制するニューラルネットワークの正則化手法

モデルの予測と正解とのずれを数値化し、学習の最適化目標とする関数

勾配降下法においてパラメータを1回の更新でどれだけ動かすかを決めるハイパーパラメータ

単語の周辺文脈から、意味的な類似性を反映した低次元の分散表現(単語埋め込み)を学習する手法

単語の出現頻度と、その単語が多くの文書に共通して現れるかどうかを掛け合わせ、文書における単語の重要度を測る統計的手法

頻出する文字・部分文字列のペアを繰り返し統合し、語彙を構築するサブワード分割アルゴリズム

モデルサイズ・データ量・計算量を増やすほど、損失が予測可能な形でべき乗則的に改善するという経験則

モデル規模がある閾値を超えたときに、小規模モデルには見られなかった能力が急激に現れる現象

新しいタスクを追加学習した際に、以前学習していたタスクの性能が大きく低下してしまう現象

文書群から抽出したエンティティ・関係のナレッジグラフを介して検索・生成するRAGの発展形

検索・生成の各ステップをAIエージェントが自律的に計画・実行・検証しながら進めるRAGの設計パターン

報酬モデルを別途学習せず、人間の選好データから直接LLMの方策を最適化するアライメント手法

多様なタスクを指示文と模範応答のペアとして学習させ、LLMの指示追従能力を高めるファインチューニング手法

人間があらかじめ定めた原則(憲法)に基づき、AI自身に自分の応答を評価・修正させてアライメントするAnthropic発の手法

LLMの出力を、あらかじめ定義したJSONスキーマなど決まったデータ構造に厳密に従わせる機能

プロンプトの共通部分をサーバー側でキャッシュし、繰り返し送信時のレイテンシとコストを削減する仕組み

実データの代わりに、モデルやシミュレーションによって人工的に生成される学習用データ

タスクの例を1つも示さず、指示文だけでLLMに未知のタスクをこなさせる手法

同じ問題に対する複数の推論過程をサンプリングし、多数決で最終的な答えを決めるプロンプティング手法

推論の途中経過を木構造の分岐として展開し、評価しながら有望な経路を探索するプロンプティング手法

LLM自身に指示・応答のペアを生成させ、指示チューニング用データセットを合成する手法

1つの複雑なタスクを複数のプロンプトに分割し、前段の出力を次段の入力として順につなげていく手法

検索した正解文書と無関係な文書(ディストラクタ)を含めてファインチューニングし、RAG利用時の頑健性を高める手法

階層構造を持つグラフを辿ることで、高次元ベクトルの近似最近傍探索を高速に行うアルゴリズム

2つのベクトルがなす角度の近さから、意味的な類似度を測る指標

深いニューラルネットワークで誤差逆伝播をする際、浅い層へ伝わる勾配が極端に小さくなり学習が進まなくなる問題

勾配の1次・2次モーメントを推定し、パラメータごとに学習率を自動調整する適応的最適化アルゴリズム

状態と行動の組み合わせの価値(Q値)を試行錯誤を通じて学習する、強化学習の代表的な手法

APIへの大量の問い合わせと応答の観察から、対象モデルの挙動を模倣する代替モデルを構築する攻撃

生成テキストの単語選択に統計的な偏りを埋め込み、AI生成コンテンツかどうかを後から検出可能にする技術

学習データに特定のトリガーを仕込み、そのトリガーが入力に含まれたときだけモデルに異常な挙動をさせる攻撃

エージェントが環境との試行錯誤を通じて、報酬を最大化する行動を学習する機械学習の枠組み

大規模データから汎用的な知識や表現をあらかじめ学習させ、下流タスクの土台を作る学習段階

非常に長い入力を一度に処理し、その内容を精度良く活用できるLLMの能力、およびそれを実現するための技術群

限られたコンテキストウィンドウ内でLLMやエージェントが最大の性能を発揮できるよう、渡す情報全体（指示・例・ツール定義・検索結果・記憶等）を設計する実践

クラウドAPIを介さず、自分のPCやオンプレミス環境で実行するLLMの運用形態

学習済みモデルの推論時に計算量を追加投入し、思考の長文化や複数候補の生成・選別によって回答品質を高めるアプローチ

価値関数モデルを使わず、同一プロンプトから生成した複数出力のグループ内比較で優位性を計算する、LLM向けの強化学習アルゴリズム

学習済みの報酬モデルの代わりに、数学の正誤判定やテストの合否など機械的に検証できる報酬を使ってLLMを強化学習する手法

環境のダイナミクスを学習し、行動の結果を内部でシミュレートできるようにするモデル

ロボットや自動運転車など、物理世界を知覚し行動する機械に組み込まれるAI

自然言語で意図を伝え、生成されたコードの詳細を検証せずAIとの対話を繰り返して開発を進めるスタイル

実装前に要件・設計・タスクを仕様書として明文化し、それをコーディングエージェントへの入力としてコードを生成する開発手法

WebサイトのルートにMarkdown形式で置き、LLMにサイトの概要と主要コンテンツを伝える提案仕様

特定のタスクに限定されず、人間が行える幅広い知的タスクを人間と同等以上に遂行できるAIの概念

テキスト・画像・音声・動画・コードなどの新しいコンテンツを生成できるAIの総称

アップロードした資料だけを情報源として質問応答・要約・音声解説ができる、GoogleのAIリサーチアシスタント

テキストや画像などの指示から動画を生成するAI技術の総称

テキストから人間の音声を生成する技術。ニューラル方式の登場で自然さが向上した

重みを更新せず、プロンプト内の例示や指示だけから新しいタスクの解き方を捉えて実行するLLMの能力

人手のラベルを使わず、データ自体から擬似的な正解を作って学習する方式。LLMの事前学習の基盤

似たデータの表現を近づけ、異なるデータの表現を遠ざけるように埋め込みを学習する方式

データを1か所に集めず、端末や組織ごとの学習結果だけを集約して共有モデルを作る分散学習方式

モデルの大部分を凍結し、少数のパラメータだけを学習してファインチューニングする手法の総称

ベースモデルを4bitに量子化して凍結し、その上にLoRAを載せて学習するメモリ効率の高いファインチューニング手法

人間の代わりにAIモデルが出力を評価し、そのフィードバックでモデルを強化学習する手法

LLMの出力の良し悪しをスコアとして予測し、強化学習の審判役を担うモデル

エージェントが意図した目的を達成せず、報酬関数の欠陥や抜け穴を突いて報酬だけを最大化する現象

事前学習を終えたモデルへ行う、指示チューニング・選好学習・強化学習などの追加学習の総称

複数の学習済みモデルの重みを演算で合成し、追加学習なしで新しいモデルを作る手法

過学習の後も学習を続けると、あるタイミングで突然汎化が起きる現象

既存の学習データへ変換を加えて多様性を増やし、モデルの汎化性能を高める技術

テキストをモデルが扱う最小単位であるトークンの列へ分割する処理

実体をノード、実体間の関係をエッジとして知識をグラフ構造で表現したデータベース

深層学習で人物の顔・声・動作を合成し、本物と見分けにくい偽の画像・動画・音声を作る技術とその生成物

組織のIT部門の承認や管理を経ずに、従業員が業務で無断利用するAIツール

品質や正確さへの配慮なく大量生産され、WebやSNSにあふれる低品質なAI生成コンテンツを指す俗語

AIの判断の根拠を人間が理解できる形で提示するための技術・研究分野

ニューラルネットワーク内部の重みや活性を解析し、モデルの内部回路・アルゴリズムの解明を目指す研究分野

AIの用途をリスクで分類して禁止や義務を定める、EUによる包括的なAI規制法

機械学習モデルの用途・性能・制限・倫理的考慮事項を整理して公開する標準的なドキュメント形式

AIエージェントを開発ライフサイクル全体(要件定義・設計・実装・テスト)に組み込む開発プロセス手法

特定タスク向けの指示・スクリプト・リソースをまとめ、該当タスク実行時にClaudeへ読み込ませる拡張機構

Claude Codeがプロジェクトの規約・構成・注意点を把握するために自動で読み込む、リポジトリ直下に置くMarkdown形式の指示ファイル

OpenAI CodexやCursorなど複数のAIコーディングツールが共通して読み込める、リポジトリ向けの標準指示ファイル形式

方策の更新幅をクリッピングで制限し安定した学習を実現する強化学習アルゴリズムで、RLHFの方策最適化段階で広く使われる

温度・圧力等、測定容易なセンサーデータからAIが測定困難な品質・状態をリアルタイムに推定する仮想センサー技術

生成完了したリクエストの枠へ新規リクエストを即座に詰め替え、LLM推論サーバーのスループットを高めるバッチ処理方式

複数の検索手法によるランキング結果を、順位の逆数の和で統合するハイブリッド検索のスコア統合手法

学習済みモデルの重みを、追加学習なしに事後的に低ビット精度へ変換する量子化手法

学習段階から量子化による誤差を考慮に入れることで、低ビット化後も精度低下を抑える量子化手法

ベクトルをあらかじめクラスタへ分割し、検索時は近いクラスタのみを探索することで近似最近傍探索を高速化するインデックス構造

厳密な最近傍探索の代わりに、多少の精度を犠牲にして高速に類似ベクトルを検索する手法の総称

月次で数十億ページ規模のWebページをクロールし無償公開しているオープンなWebアーカイブで、多くのLLMの事前学習データの主要な情報源

入力トークンの一部をランダムにマスクし、その単語を周囲の文脈から予測させることで双方向の言語表現を学習する事前学習手法

少量のキャリブレーションデータのみで、LLMの重みを4bit程度まで高速かつ高精度に量子化するPTQ手法

活性化値の分布をもとに重要な重みを特定し、その精度を保護しながら量子化するLLM向けの重み量子化手法