技術

検索(Retrieval)と生成モデルを組み合わせ、外部知識に基づいて出力を根拠づける手法

事前学習済みモデルを追加学習し、特定タスクやドメインへ適応させる手法

言語モデルの学習・分析に使われる、構造化されたテキストデータの集合

コンピュータに人間の言語を理解・生成・分析させるための技術分野

多数の層を持つニューラルネットワークを用いてデータから高次の特徴表現を自動学習する機械学習手法

動的計算グラフとPython親和性の高いAPIを特徴とする、オープンソースの機械学習フレームワーク

LLMが事実に基づかない内容を、もっともらしく生成してしまう現象

LLMなど自然言語処理モデルがテキストを入出力する際に扱う最小の処理単位

低ランク行列の追加学習により、事前学習済みモデルを効率的にファインチューニングする手法

あるタスク・ドメインで学習したモデルの知識を、別の関連タスク・ドメインへ再利用する機械学習の手法

LLMが一度の推論で参照できる入力・出力トークンの合計量の上限

テキストなどのデータを、意味的な近さを反映した高次元の実数ベクトルへ変換した表現

LLMに入力する指示・質問・文脈などのテキスト

LLMから望む出力を引き出すために、プロンプトの書き方を設計・改善する手法

会話の冒頭でLLMに与える、応答全体の振る舞いや役割を規定する特別な指示

最終的な答えに至る過程を段階的に言語化させることで、LLMの推論精度を高めるプロンプティング手法

LLMの出力トークン選択のランダム性を調整する、確率分布のサンプリングパラメータ

累積確率が閾値 p に達するまでの上位トークン群だけからサンプリングする、核サンプリング手法

確率が高い上位 k 個のトークンのみを候補に絞ってサンプリングする手法

乱数生成の初期値。同じ値を指定することでLLMの出力サンプリング結果を再現できる

LLMの出力を人間の意図・価値観・安全基準に沿わせるための研究・技術分野

人間による応答の選好評価を報酬信号として、強化学習でLLMの応答を人間の意図に近づける手法

大規模な教師モデルの出力を模倣させることで、小規模な生徒モデルへ知識を移す学習手法

モデルの重みや計算を低ビット精度の数値表現に変換し、モデルサイズと推論コストを削減する手法

自己回帰生成において、過去のKey・ValueベクトルをGPUメモリに保持し再利用する推論最適化の仕組み

RAGなどで文書を検索・処理しやすい単位に分割した、テキストの断片

長い文書を、検索や埋め込み生成に適した大きさのチャンクへ分割する処理

キーワードの一致ではなく、埋め込みベクトルによる意味的な類似度に基づいて検索する手法

セマンティック検索とキーワード検索を組み合わせ、双方の長所を活かす検索手法

単語の出現頻度と文書長を考慮してスコアリングする、キーワードベースの検索アルゴリズム

初期検索で取得した候補群を、より高精度なモデルで並べ替える2段階目の検索コンポーネント

文書に付随するメタデータの条件でベクトル検索の対象を絞り込む仕組み

学習済みモデルへ入力を与え、出力を計算する処理

モデルが計算した確率分布から、次に出力するトークンを実際に選び取る処理

小規模な下書きモデルに複数トークンを先に生成させ、本体モデルで一括検証し生成を高速化する手法

複数の候補系列を並行して保持・評価しながら、より高い確率の系列全体を探索するデコーディング手法

LLMが生成したトークンを、完成を待たずに逐次クライアントへ送信する応答方式

複数の推論リクエストをまとめて処理し、GPUの利用効率とスループットを高める手法

LLMアプリケーションの構築を、部品の組み合わせ(チェーン)として簡単にするPython/JavaScriptフレームワーク

検索・質問応答システムの構築を起源とする、RAGパイプライン構築向けのオープンソースフレームワーク

LLMアプリケーションをビジュアルなワークフロー画面で構築・運用できるオープンソースのLLMOpsプラットフォーム

ノードをドラッグ&ドロップで接続し、LLMアプリケーションを視覚的に構築するオープンソースツール

LLMノードにも対応した、ノードベースで業務プロセスを自動化するワークフロー自動化ツール

量子化されたモデルの重みとメタデータを1ファイルにまとめた、llama.cpp発のモデル配布フォーマット

異なる機械学習フレームワーク間でモデルを共通形式として扱えるようにする、オープンなモデル形式

16ビットで数値を表現する浮動小数点フォーマット。学習・推論の高速化とメモリ削減に使われる

数値を8ビットの整数で表現する、量子化でよく用いられる数値形式

数値を4ビットの整数で表現する、LLMの大幅な軽量化に用いられる量子化精度

悪意ある指示を入力に紛れ込ませ、LLMに開発者の意図しない挙動をさせる攻撃手法

特殊なプロンプトによってLLMに組み込まれた安全性の制約を回避させる手法

学習データに悪意あるデータを混入させ、モデルの挙動を意図的に歪ませる攻撃手法

LLMアプリケーションの入出力を監視・制御し、有害な出力や情報漏洩を防ぐための仕組み

氏名・住所・連絡先等、個人を特定できる情報の総称

攻撃者の視点でモデルやシステムの脆弱性を能動的に発見する、AIの安全性検証手法

ChatGPTやPerplexity等のLLMベースの検索・応答サービスに自社コンテンツが引用・言及されやすくなるよう最適化する取り組み

検索エンジンに限らず、AIが介在する様々な情報接点で自社コンテンツが見つかりやすく・使われやすくなるよう最適化する取り組みの総称

プロンプト内にタスクの入力・出力例をいくつか示すことで、追加学習なしにLLMへ望む出力形式を伝える手法

明示的なルールを人手でプログラムする代わりに、データからパターンを学習し予測・判断するアルゴリズムの総称

各ノードが状態、各エッジが行動・選択を表す木構造を辿ることで、目標状態や最適解を探し出す探索手法

「甲が乙と関係し、乙が丙と関係するならば、甲も丙と関係する」という、関係の連鎖を保証する論理的性質

ある領域における概念・属性・関係を、機械が処理できる形で形式的に定義した語彙・知識の体系

人間が持つ常識的な知識を、述語論理の公理として大規模にエンコードすることを目指した記号主義AIの知識ベースプロジェクト

データの特徴量に対する条件分岐を木構造として繰り返し、分類・回帰を予測する機械学習モデル

多数の決定木をランダムな条件下で学習させ、それらの予測を多数決・平均で統合するアンサンブル学習手法

弱い予測モデルを1つずつ順番に追加し、直前までの予測誤差を勾配降下法的に修正しながら精度を高めるアンサンブル学習手法

複数の予測モデルの出力を組み合わせることで、単体のモデルより高い予測性能を実現する機械学習の手法群

クラス間のマージンを最大化する境界を見つけることで分類・回帰する機械学習モデル

特徴量の線形結合をシグモイド関数で確率に変換し、2値分類する統計的機械学習モデル

RNNを時間方向に展開した計算グラフに対して誤差逆伝播法を適用し、各時刻の重みを学習するアルゴリズム

時間の経過に沿って一定間隔または連続的に観測・記録された、順序に意味のあるデータ

物体検出タスクにおいて、画像内の対象物の位置と範囲を囲んで示す矩形の座標情報

テキストを連続するN個の単語・文字の並びに区切って扱う、統計的言語モデルの基礎となる表現手法

直接観測できない状態の遷移を仮定し、観測データからその隠れた状態系列を推定する統計モデル

ランダムなシミュレーションの結果を用いて有望な手を評価しながら探索木を成長させる探索アルゴリズム

テキスト・画像・音声・動画等、複数の種類(モダリティ)のデータを組み合わせて扱うAIの性質・手法

出力の誤差を出力層から入力層へ逆向きに伝播させ、各重みの勾配を効率的に計算するニューラルネットワークの学習アルゴリズム

損失関数の勾配の逆方向へパラメータを少しずつ更新し、損失を最小化する最適化アルゴリズム

モデルが学習データの細部やノイズまで過剰に適合し、未知のデータに対する予測性能が低下する現象

学習時にニューロンの一部をランダムに無効化し、過学習を抑制するニューラルネットワークの正則化手法

モデルの予測と正解とのずれを数値化し、学習の最適化目標とする関数

勾配降下法においてパラメータを1回の更新でどれだけ動かすかを決めるハイパーパラメータ

単語の周辺文脈から、意味的な類似性を反映した低次元の分散表現(単語埋め込み)を学習する手法

単語の出現頻度と、その単語が多くの文書に共通して現れるかどうかを掛け合わせ、文書における単語の重要度を測る統計的手法

頻出する文字・部分文字列のペアを繰り返し統合し、語彙を構築するサブワード分割アルゴリズム

モデルサイズ・データ量・計算量を増やすほど、損失が予測可能な形でべき乗則的に改善するという経験則

モデル規模がある閾値を超えたときに、小規模モデルには見られなかった能力が急激に現れる現象

新しいタスクを追加学習した際に、以前学習していたタスクの性能が大きく低下してしまう現象

文書群から抽出したエンティティ・関係のナレッジグラフを介して検索・生成するRAGの発展形

検索・生成の各ステップをAIエージェントが自律的に計画・実行・検証しながら進めるRAGの設計パターン

報酬モデルを別途学習せず、人間の選好データから直接LLMの方策を最適化するアライメント手法

多様なタスクを指示文と模範応答のペアとして学習させ、LLMの指示追従能力を高めるファインチューニング手法

人間があらかじめ定めた原則(憲法)に基づき、AI自身に自分の応答を評価・修正させてアライメントするAnthropic発の手法

LLMの出力を、あらかじめ定義したJSONスキーマなど決まったデータ構造に厳密に従わせる機能

プロンプトの共通部分をサーバー側でキャッシュし、繰り返し送信時のレイテンシとコストを削減する仕組み

実データの代わりに、モデルやシミュレーションによって人工的に生成される学習用データ

タスクの例を1つも示さず、指示文だけでLLMに未知のタスクをこなさせる手法

同じ問題に対する複数の推論過程をサンプリングし、多数決で最終的な答えを決めるプロンプティング手法

推論の途中経過を木構造の分岐として展開し、評価しながら有望な経路を探索するプロンプティング手法

LLM自身に指示・応答のペアを生成させ、指示チューニング用データセットを合成する手法

1つの複雑なタスクを複数のプロンプトに分割し、前段の出力を次段の入力として順につなげていく手法

検索した正解文書と無関係な文書(ディストラクタ)を含めてファインチューニングし、RAG利用時の頑健性を高める手法

階層構造を持つグラフを辿ることで、高次元ベクトルの近似最近傍探索を高速に行うアルゴリズム

2つのベクトルがなす角度の近さから、意味的な類似度を測る指標

深いニューラルネットワークで誤差逆伝播をする際、浅い層へ伝わる勾配が極端に小さくなり学習が進まなくなる問題

勾配の1次・2次モーメントを推定し、パラメータごとに学習率を自動調整する適応的最適化アルゴリズム

状態と行動の組み合わせの価値(Q値)を試行錯誤を通じて学習する、強化学習の代表的な手法

APIへの大量の問い合わせと応答の観察から、対象モデルの挙動を模倣する代替モデルを構築する攻撃

生成テキストの単語選択に統計的な偏りを埋め込み、AI生成コンテンツかどうかを後から検出可能にする技術

学習データに特定のトリガーを仕込み、そのトリガーが入力に含まれたときだけモデルに異常な挙動をさせる攻撃

エージェントが環境との試行錯誤を通じて、報酬を最大化する行動を学習する機械学習の枠組み

大規模データから汎用的な知識や表現をあらかじめ学習させ、下流タスクの土台を作る学習段階

非常に長い入力を一度に処理し、その内容を精度良く活用できるLLMの能力、およびそれを実現するための技術群

限られたコンテキストウィンドウ内でLLMやエージェントが最大の性能を発揮できるよう、渡す情報全体（指示・例・ツール定義・検索結果・記憶等）を設計する実践

クラウドAPIを介さず、自分のPCやオンプレミス環境で実行するLLMの運用形態

学習済みモデルの推論時に計算量を追加投入し、思考の長文化や複数候補の生成・選別によって回答品質を高めるアプローチ

価値関数モデルを使わず、同一プロンプトから生成した複数出力のグループ内比較で優位性を計算する、LLM向けの強化学習アルゴリズム

学習済みの報酬モデルの代わりに、数学の正誤判定やテストの合否など機械的に検証できる報酬を使ってLLMを強化学習する手法

環境のダイナミクスを学習し、行動の結果を内部でシミュレートできるようにするモデル

ロボットや自動運転車など、物理世界を知覚し行動する機械に組み込まれるAI

自然言語で意図を伝え、生成されたコードの詳細を検証せずAIとの対話を繰り返して開発を進めるスタイル

実装前に要件・設計・タスクを仕様書として明文化し、それをコーディングエージェントへの入力としてコードを生成する開発手法

WebサイトのルートにMarkdown形式で置き、LLMにサイトの概要と主要コンテンツを伝える提案仕様

特定のタスクに限定されず、人間が行える幅広い知的タスクを人間と同等以上に遂行できるAIの概念

テキスト・画像・音声・動画・コードなどの新しいコンテンツを生成できるAIの総称

アップロードした資料だけを情報源として質問応答・要約・音声解説ができる、GoogleのAIリサーチアシスタント

テキストや画像などの指示から動画を生成するAI技術の総称

テキストから人間の音声を生成する技術。ニューラル方式の登場で自然さが向上した

重みを更新せず、プロンプト内の例示や指示だけから新しいタスクの解き方を捉えて実行するLLMの能力

人手のラベルを使わず、データ自体から擬似的な正解を作って学習する方式。LLMの事前学習の基盤

似たデータの表現を近づけ、異なるデータの表現を遠ざけるように埋め込みを学習する方式

データを1か所に集めず、端末や組織ごとの学習結果だけを集約して共有モデルを作る分散学習方式

モデルの大部分を凍結し、少数のパラメータだけを学習してファインチューニングする手法の総称

ベースモデルを4bitに量子化して凍結し、その上にLoRAを載せて学習するメモリ効率の高いファインチューニング手法

人間の代わりにAIモデルが出力を評価し、そのフィードバックでモデルを強化学習する手法

LLMの出力の良し悪しをスコアとして予測し、強化学習の審判役を担うモデル

エージェントが意図した目的を達成せず、報酬関数の欠陥や抜け穴を突いて報酬だけを最大化する現象

事前学習を終えたモデルへ行う、指示チューニング・選好学習・強化学習などの追加学習の総称

複数の学習済みモデルの重みを演算で合成し、追加学習なしで新しいモデルを作る手法

過学習の後も学習を続けると、あるタイミングで突然汎化が起きる現象

既存の学習データへ変換を加えて多様性を増やし、モデルの汎化性能を高める技術

テキストをモデルが扱う最小単位であるトークンの列へ分割する処理

実体をノード、実体間の関係をエッジとして知識をグラフ構造で表現したデータベース

深層学習で人物の顔・声・動作を合成し、本物と見分けにくい偽の画像・動画・音声を作る技術とその生成物

組織のIT部門の承認や管理を経ずに、従業員が業務で無断利用するAIツール

品質や正確さへの配慮なく大量生産され、WebやSNSにあふれる低品質なAI生成コンテンツを指す俗語

AIの判断の根拠を人間が理解できる形で提示するための技術・研究分野

ニューラルネットワーク内部の重みや活性を解析し、モデルの内部回路・アルゴリズムの解明を目指す研究分野

AIの用途をリスクで分類して禁止や義務を定める、EUによる包括的なAI規制法

機械学習モデルの用途・性能・制限・倫理的考慮事項を整理して公開する標準的なドキュメント形式

AIエージェントを開発ライフサイクル全体(要件定義・設計・実装・テスト)に組み込む開発プロセス手法

特定タスク向けの指示・スクリプト・リソースをまとめ、該当タスク実行時にClaudeへ読み込ませる拡張機構

Claude Codeがプロジェクトの規約・構成・注意点を把握するために自動で読み込む、リポジトリ直下に置くMarkdown形式の指示ファイル

OpenAI CodexやCursorなど複数のAIコーディングツールが共通して読み込める、リポジトリ向けの標準指示ファイル形式

方策の更新幅をクリッピングで制限し安定した学習を実現する強化学習アルゴリズムで、RLHFの方策最適化段階で広く使われる

温度・圧力等、測定容易なセンサーデータからAIが測定困難な品質・状態をリアルタイムに推定する仮想センサー技術

生成完了したリクエストの枠へ新規リクエストを即座に詰め替え、LLM推論サーバーのスループットを高めるバッチ処理方式

複数の検索手法によるランキング結果を、順位の逆数の和で統合するハイブリッド検索のスコア統合手法

学習済みモデルの重みを、追加学習なしに事後的に低ビット精度へ変換する量子化手法

学習段階から量子化による誤差を考慮に入れることで、低ビット化後も精度低下を抑える量子化手法

ベクトルをあらかじめクラスタへ分割し、検索時は近いクラスタのみを探索することで近似最近傍探索を高速化するインデックス構造

厳密な最近傍探索の代わりに、多少の精度を犠牲にして高速に類似ベクトルを検索する手法の総称

月次で数十億ページ規模のWebページをクロールし無償公開しているオープンなWebアーカイブで、多くのLLMの事前学習データの主要な情報源

入力トークンの一部をランダムにマスクし、その単語を周囲の文脈から予測させることで双方向の言語表現を学習する事前学習手法

少量のキャリブレーションデータのみで、LLMの重みを4bit程度まで高速かつ高精度に量子化するPTQ手法

活性化値の分布をもとに重要な重みを特定し、その精度を保護しながら量子化するLLM向けの重み量子化手法

日常的な会話や感情的なつながりを目的として、擬人化されたキャラクター性を持つ対話型AI

AIとのやり取りで消費するトークン量をあえて最大化し、出力品質や習熟度を高めようとする戦略

LLM利用時のAPIコストや応答レイテンシを抑えるため、消費トークン量を減らす実践全般を指す総称

視覚観測を条件として、ロボットの行動系列を条件付き拡散モデルで生成する模倣学習の方策(ポリシー)

人間の専門家が自律ポリシー実行中に危険と判断した区間のみ制御を引き取り、その介入データだけを集約して再学習する対話的模倣学習アルゴリズム

モデルの予測や生成結果を評価・学習する際に基準とする、正しいとされるデータやラベル

入力データと正解ラベルの対応関係を学習し、未知データのラベルを予測する機械学習の基本的な枠組み

少量のラベル付きデータと大量のラベルなしデータを組み合わせて学習する機械学習の枠組み

簡単なサンプルから難しいサンプルへと順序立てて学習させることで、学習の効率や汎化性能を高める手法

複数の関連タスクを1つのモデルで同時に学習し、タスク間で知識を共有することで汎化性能を高める手法

複数のタスクの学習経験から、新しいタスクに素早く適応するための学習の仕方自体を学習する枠組み

新しいタスクやデータを次々と学習しながら、過去に学習した知識を破壊的に忘れないようにする学習の枠組み

専門家の行動データから、その行動の背後にある報酬関数を推定する強化学習の枠組み

正解ラベルが付与された学習データで、教師あり学習の基盤となるもの

入力を事前に定義されたカテゴリのいずれかに割り当てる教師あり学習タスク

ラベルなしデータを類似度に基づいてグループ分けする教師なし学習手法

強化学習でエージェントの方策を報酬最大化に向けて直接改善する手法群

強化学習でエージェントの行動の良し悪しを数値化して与える関数

人間による選好(どちらが好ましいか)の比較データからモデルの挙動を学習する手法

学習に使っていない未知のデータに対してモデルが適切に予測できる能力

ラベルなしデータにモデル自身の予測を仮のラベルとして付与し学習に利用する半教師あり学習手法

入力に摂動を加えても出力予測が一貫するようモデルを制約する半教師あり学習の正則化手法

モデルにとっての学習・推論の困難さを表す指標で、カリキュラム学習の設計に用いられる概念

過去の行動履歴をバッファに蓄積し再利用することで強化学習の学習効率と安定性を高める手法

全ての負例ではなく一部を無作為抽出して学習コストを抑える手法

個人情報や機密データを保護しながらモデルを学習するための技術群

推論コストやモデルサイズを削減しつつ性能をできるだけ維持する技術の総称

専門家(人間など)の行動デモンストレーションから直接方策を学習する手法

2つの確率分布間のずれを測る指標で、分類モデルの損失関数として広く使われる

モデルが観測データをどれだけよく説明できるかを対数スケールで表した指標

学習・評価用データに正解ラベルや付加情報を人手で付与する作業

人間には知覚できない程度の微小な摂動を入力に加えることで、機械学習モデルに誤った予測をさせる入力データ

特定のデータが対象モデルの学習データに含まれていたかどうかを、モデルの出力挙動から推定する攻撃

推論時に入力を細工し、分類器や検知システムの判定をすり抜けさせる攻撃の総称

処理時間や消費電力、キャッシュの挙動など、システムの意図しない副次的な物理・実行情報からモデルや秘密情報を推定する攻撃

信頼できるシステムプロンプトと信頼できない外部入力を結合するアプリケーションに対し、モデルの出力を攻撃者の意図した内容へ乗っ取る攻撃

敵対的サンプルを学習データに含めてモデルを再学習させることで、そうした摂動を加えた入力に対する頑健性を高める学習手法

個々のデータの有無が分析結果へ与える影響を数学的に制限し、統計分析や機械学習モデルから個人が特定されるリスクを抑える枠組み

LLMが生成したテキストをユーザーへ返す前に検査し、有害な内容や個人情報の漏洩を検知した場合にブロックまたは修正する仕組み

アプリケーションが受け取るユーザー入力やデータを処理前に検証・無害化し、インジェクション攻撃など不正な入力による被害を防ぐ手法

モデルサイズ・データ量・計算量を増やしても性能向上が鈍化・停滞する現象

推論モデルでも複雑な論理的・数学的推論において精度が低下し、頑健性を欠く現象

学習時の性能指標と、実運用・評価時の性能とが一致しない現象

コンテキストウィンドウが長くなるほど、入力中の情報を正確に参照・活用する精度が低下する現象

テキストや音声を通じて人間と自動的に対話するソフトウェア

入力された文脈や指示に基づき、自然言語のテキストを生成するタスク

テキストなどの入力から新しい画像を生成する技術

自然言語の指示やコード文脈からソースコードを自動生成するタスク

数秒〜数十秒の音声サンプルから話者の声質・話し方を再現し、任意のテキストを読み上げさせる技術

直前までに生成した出力系列を条件として、次の要素を1つずつ逐次予測しながら生成する方式

ほとんどの次元が0以外の値を持ち、意味的な特徴を圧縮して表現する低〜中次元の実数値ベクトル

ある言語のテキストを別の言語のテキストへコンピュータが自動的に翻訳する技術

自然言語で書かれた質問に対し、文書や知識源をもとに回答を生成・抽出するシステム

長い文章の要点を保持しながら短い文章へ圧縮するタスク

文章に含まれる書き手の感情や評価の極性(ポジティブ・ネガティブなど)を推定するタスク

動画中の物体・行動・場面展開などを認識し、内容を意味的に理解するタスク

テキストに加えて画像・音声・動画など複数のモダリティを入出力に扱う対話

データの中から通常のパターンから逸脱した異常なデータ点や挙動を検出するタスク

ユーザーの嗜好や行動履歴に基づき、関心を持ちそうなアイテムを推薦するシステム

過去から現在までの時系列データをもとに、将来の値や傾向を予測するタスク

自己回帰・差分・移動平均を組み合わせて時系列データを予測する統計的モデル

音声やテキストでの対話を通じて日常のタスク実行や情報検索を代行するAIシステム

ナレッジグラフ等の構造化知識ベースを情報源として質問に回答するQA手法

特定分野に限らず幅広いトピックの質問に、大規模な文書集合から回答するQA手法

ニューラルネットワークにより翻訳確率を学習し、文全体の文脈を踏まえた訳文を生成する機械翻訳手法

原文中の重要な文をそのまま抜き出して並べる要約手法

原文の内容を理解した上でモデルが新しい文章として要約を生成する手法

文章に含まれる感情や評価の極性(ポジティブ・ネガティブ・ニュートラル)を判定するタスク

テキストを喜び・怒り・悲しみなどの感情カテゴリやポジ・ネガのラベルに分類するタスク

動画中の人物の動作や行動をフレーム系列から認識するタスク

動画データから空間的なパターンと時間的な変化を同時に捉えた特徴表現

画像を提示しながら複数ターンにわたり質問応答を行う対話タスク

複数モダリティの特徴表現を組み合わせ、単一の統合表現として扱う技術

データ分布から統計的に大きく逸脱した値を検出する手法

学習データに存在しなかった未知のパターンを新規性として検出する手法

似た嗜好を持つ他ユーザーの行動履歴から推薦する手法

アイテム自体の特徴に基づき、ユーザーが過去に好んだものと似たアイテムを推薦する手法

多次元配列であるテンソルに対する加算・乗算・畳み込みなどの数値演算群。深層学習の計算基盤

目的別に作成・検証済みのプロンプトを蓄積し、チームや組織内で再利用できるようにした管理の仕組み

テンプレート中のプレースホルダーを実際の値に差し替えて、動的にプロンプトや文章を組み立てる処理

変数部分をプレースホルダーとして残し、共通の指示や構成を再利用できる形にしたプロンプトのひな形

出力への寄与が小さいニューロン・重み・層を削減し、モデルサイズと推論コストを下げるモデル圧縮手法

パラメータや計算グラフの大部分を0または未使用にし、実質的な計算量・メモリ使用量を削減する手法の総称

モデル内の重み・ニューロン・層が出力にどの程度寄与しているかを定量化し、削減対象の判断に用いる評価

モデルの複製を複数デバイスに配置し、ミニバッチを分割して並列に学習を進める分散学習手法

モデル自体を複数デバイスに分割して配置し、単一デバイスのメモリに収まらない大規模モデルを学習・推論させる分散学習手法

モデルの層を複数のステージに分割し、ステージ間でマイクロバッチをパイプライン状に流して並列に学習する分散学習手法

順伝播時の中間活性化の一部を保存せず、逆伝播時に再計算することでメモリ使用量を削減する学習手法

学習中に量子化による誤差をシミュレートし、量子化後の精度低下を抑えるよう重みを調整する学習手法

学習率やバッチサイズなどモデルの性能を左右するハイパーパラメータの値を自動的に探索・選定する手法

1回の学習ステップで扱うバッチをデバイスのメモリに収まる小さな単位へ分割し、順次または並列に処理する手法

各層内の行列演算そのものを複数デバイスに分割して並列計算する、層内並列とも呼ばれるモデル並列の一手法

パイプライン並列においてミニバッチをさらに細かく分割した処理単位で、ステージ間の待機時間削減に使う

パイプライン並列でデバイスが計算開始・終了時に生じる待機時間(バブル)を、スケジューリング等の工夫で削減する取り組み

限られたGPU・デバイスメモリでより大きなモデルやバッチを学習・推論できるようにする技術群の総称

学習済みモデルの推論時のレイテンシ・スループット・メモリ使用量を改善するための技術群の総称

量子化などによって生じる出力の誤差(歪み)を最小化するよう、パラメータや量子化パラメータを最適化する手法

過去の試行結果から目的関数を確率モデルで近似し、次に試す点を効率的に選びながら最適化するハイパーパラメータ探索手法

あらかじめ指定したハイパーパラメータ候補値の全組み合わせを網羅的に試し、最良の組み合わせを探す最も基本的な探索手法

AIシステムの設計・開発・運用に公平性・透明性・説明責任などの倫理原則を組み込むための考え方・実践の総称

AIシステムのデータ・モデル・出力を体系的に検証し、バイアス・安全性・法令遵守などを評価するプロセス

モデルを意図的に誤動作させる入力を用いて頑健性・安全性を検証するテスト手法

許可を得た上でシステムへの侵入・攻撃を模擬的に試み、セキュリティ上の脆弱性を発見する手法

人間の価値観や選好を明示的なルールでなくデータから帰納的に学習させる、AIアライメント研究のアプローチ

AIの開発・利用が個人や社会に与える影響を、公平性・プライバシー・説明責任などの倫理的観点から検討する学際分野

モデルの内部構造や判断過程を人間がどの程度理解できるかを表す性質、およびそれを高めるための研究分野

AIシステムの仕組み・判断根拠・学習データ等を利害関係者へ開示し理解可能にする性質・取り組み

データを暗号化したまま計算し、復号後に平文で計算した場合と同じ結果を得られる暗号方式

ユーザー生成コンテンツやAIの生成物から、暴力的表現やヘイトスピーチなどの有害なコンテンツを検出・排除する取り組み

AIシステムの導入前に、人権・公平性・社会への影響を体系的に評価する手続き

企業が自社サービスにおけるデータ開示要請・コンテンツ削除・AI利用状況等を定期的に公表する報告書

データや画像の中に他の情報を人に気づかれない形で埋め込み隠す技術

AIモデルの予測や判断が、性別・人種等の属性によって不当に偏らないことを求める性質・研究領域

AIシステムの判断やその影響について、開発者・運用者が責任を負い説明できる状態を確保する原則

モデル内部の活性化を直接操作し、出力のスタイルや性質を狙った方向へ誘導する技術

組織内でAIの開発・運用に伴う倫理的リスクを審査・監督するために設置される委員会

AIシステムの設計において、性能だけでなく人間のニーズ・能力・信頼を中心に据える設計思想・手法

AIの仕組み・能力・限界・リスクを理解し、適切に利用・評価するために必要な知識と能力

AIサービスが許可・禁止する利用方法やコンテンツの種類を定めた運用方針

LLMの生成時に、文法・正規表現・スキーマ等の制約に従うトークンのみを候補とすることで出力形式を保証する技術の総称

テンプレートやプレースホルダーを用いて、LLMの生成の流れそのものを事前定義した構造に沿って進行させる技術

政府・企業・市民社会・学術機関等、多様な利害関係者が協働してAIガバナンスの意思決定に関わる統治モデル

システムの設計プロセスに、実際の利用者や影響を受ける当事者を直接関与させる設計手法

年齢・障害・文化的背景等の異なる幅広い利用者が使えることを前提に設計するデザイン手法

デジタル機器・サービスを適切に活用し、情報の真偽を判断・評価する能力

AIの出力を含む情報を鵜呑みにせず、根拠や妥当性を検証しながら評価・判断する思考態度

プラットフォームの利用者コミュニティ内で許容される行動やコンテンツの範囲を定めた自主的な行動規範

モデルが単純な入力→出力変換でなく、複数ステップの論理的思考を経て結論に至る能力・プロセス

LLMの出力を検証可能な外部の事実情報やデータに結び付け、幻覚を抑え信頼性を高める性質・手法

知識を明示的な記号・ルールとして表現し、論理的な推論規則に基づいて処理する古典的なAIアプローチ

ニューラルネットワークの学習能力と、記号主義AIの論理推論・説明可能性を組み合わせるAIアプローチ

LLMが自ら生成した出力の誤りを検出し、訂正する能力・アプローチ全般を指す概念

LLM自身がタスクに適したプロンプトを設計・生成・改善する手法

推論過程の例を示すことなく「ステップバイステップで考えて」等の指示だけで段階的な推論を引き出すプロンプティング手法

一般的な前提・規則から、論理的に必然的な結論を導き出す推論の形式

個別の事例や観測データから、一般的な規則やパターンを推測する推論の形式

観察された事実に対して、それを最もよく説明できる仮説を推測する推論の形式

推論の妥当性を、命題の内容ではなく記号と規則による厳密な構造として扱う論理学の体系

AIが推論・判断に利用できる形で、知識を計算機上に表現する方法論の総称

知識グラフの補完などのタスクで、論理ルールをニューラルネットワークにより微分可能な形で学習する手法

論理的な推論の過程を、勾配降下法で最適化可能な微分可能な演算として表現するアプローチ

詳細な指示・例を含むプロンプトへの応答パターンを、プロンプトなしでも再現できるようモデル自体に学習させる手法

人間や別のAIからのフィードバック(評価・報酬信号)をもとにモデルの出力を望ましい方向へ調整する学習手法の総称

大量の人間の実演データを収集し、単純な教師あり学習で状態から行動へのマッピングを模倣させるロボット方策学習の手法

単一のモデルではなく、複数のモデル・ツール・エージェントが相互接続し合うことで機能する、AI技術群全体の相互依存的な構成

モデル規模が臨界点(閾値)を超えた際、性能や能力が連続的でなく急激に変化する現象を、物理学の相転移になぞらえた呼び方

同じ性能をより少ない計算量・メモリ・時間で達成できるかを表す、モデルの学習・推論における効率性の指標

エージェントが環境内で観測した状態と取った行動の時系列(軌跡)データから、方策や環境のダイナミクスを学習する手法の総称

AIがブログ記事・広告文・画像などのコンテンツを自動的に生成する取り組み

AIが学習者ごとの理解度や進捗に応じて教材・難易度を自動調整する教育手法

画像診断やカルテ情報の解析によって医師の診断を補助するAI技術

AIが衣服やアクセサリーを利用者の画像・映像上に合成し試着体験を提供する技術

現実の設備やプロセスをデータで再現し、シミュレーションや予測に用いる仮想モデル

OCRとAIを組み合わせ、書類から情報を自動的に抽出・分類・構造化する技術

チャットボットやAIエージェントが問い合わせ対応を自動的に行う仕組み

発話や文章をほぼ遅延なく別言語へ翻訳し続ける機械翻訳の応用形態

現時点で必要な要件を超えて、将来の変更や拡張性を過度に見込み、必要以上に複雑な設計・実装をするアンチパターン