Re Reference AI

大量のテキストコーパスで学習し、言語を予測・生成するニューラルネットワーク

注意機構(Attention)ベースの系列モデリング用ニューラルネットワークアーキテクチャ

検索(Retrieval)と生成モデルを組み合わせ、外部知識に基づいて出力を根拠づける手法

事前学習済みモデルを追加学習し、特定タスクやドメインへ適応させる手法

生物の神経回路を模した数理モデルで、層状に接続したノード間の重み付き信号伝播により学習する

言語モデルの学習・分析に使われる、構造化されたテキストデータの集合

隠れ状態を介して過去の情報を保持しながら系列データを逐次処理するニューラルネットワーク

コンピュータに人間の言語を理解・生成・分析させるための技術分野

多数の層を持つニューラルネットワークを用いてデータから高次の特徴表現を自動学習する機械学習手法

入力系列の各要素に動的な重みを割り当て、関連度の高い部分に着目して処理するニューラルネットワークの機構

大量の演算を並列処理できる専用プロセッサで、深層学習の学習・推論を支える計算基盤

NVIDIA製GPU上で汎用並列計算を行うための並列計算プラットフォーム・プログラミングモデル

動的計算グラフとPython親和性の高いAPIを特徴とする、オープンソースの機械学習フレームワーク

LLMが事実に基づかない内容を、もっともらしく生成してしまう現象

LLMなど自然言語処理モデルがテキストを入出力する際に扱う最小の処理単位

畳み込み演算により画像などグリッド状データの局所的な特徴を検出するニューラルネットワーク

ゲート機構とセル状態により長期依存の学習を改善したゲート付き再帰型ニューラルネットワーク

低ランク行列の追加学習により、事前学習済みモデルを効率的にファインチューニングする手法

文中の前後の文脈を双方向に参照して単語表現を学習する、Transformerエンコーダベースの事前学習済み言語モデル

あるタスク・ドメインで学習したモデルの知識を、別の関連タスク・ドメインへ再利用する機械学習の手法

数億〜数十億パラメータ程度の、軽量で特定用途に最適化された言語モデル

LLMが一度の推論で参照できる入力・出力トークンの合計量の上限

テキストなどのデータを、意味的な近さを反映した高次元の実数ベクトルへ変換した表現

LLMに入力する指示・質問・文脈などのテキスト

LLMから望む出力を引き出すために、プロンプトの書き方を設計・改善する手法

会話の冒頭でLLMに与える、応答全体の振る舞いや役割を規定する特別な指示

最終的な答えに至る過程を段階的に言語化させることで、LLMの推論精度を高めるプロンプティング手法

出力前に長い内部推論過程を生成し、複雑な問題の精度を高めるよう最適化されたLLM

LLMの出力トークン選択のランダム性を調整する、確率分布のサンプリングパラメータ

累積確率が閾値 p に達するまでの上位トークン群だけからサンプリングする、核サンプリング手法

確率が高い上位 k 個のトークンのみを候補に絞ってサンプリングする手法

乱数生成の初期値。同じ値を指定することでLLMの出力サンプリング結果を再現できる

LLMの出力を人間の意図・価値観・安全基準に沿わせるための研究・技術分野

人間による応答の選好評価を報酬信号として、強化学習でLLMの応答を人間の意図に近づける手法

大規模な教師モデルの出力を模倣させることで、小規模な生徒モデルへ知識を移す学習手法

モデルの重みや計算を低ビット精度の数値表現に変換し、モデルサイズと推論コストを削減する手法

入力ごとに一部の専門家サブネットワークだけを選択的に使う、スパースなニューラルネットワークアーキテクチャ

自己回帰生成において、過去のKey・ValueベクトルをGPUメモリに保持し再利用する推論最適化の仕組み

埋め込みベクトルを高速に類似検索できるよう設計されたデータベース

テキストや画像などを埋め込みベクトルへ変換する専用のニューラルネットワークモデル

RAGなどで文書を検索・処理しやすい単位に分割した、テキストの断片

長い文書を、検索や埋め込み生成に適した大きさのチャンクへ分割する処理

キーワードの一致ではなく、埋め込みベクトルによる意味的な類似度に基づいて検索する手法

セマンティック検索とキーワード検索を組み合わせ、双方の長所を活かす検索手法

単語の出現頻度と文書長を考慮してスコアリングする、キーワードベースの検索アルゴリズム

初期検索で取得した候補群を、より高精度なモデルで並べ替える2段階目の検索コンポーネント

文書に付随するメタデータの条件でベクトル検索の対象を絞り込む仕組み

LLMを中核に、周囲の状況を認識し計画を立てツールを使って自律的にタスクを遂行するシステム

単発の応答生成ではなく、自律的な計画・行動・ツール利用を通じてタスクを遂行するAI設計の潮流

LLMが外部の関数・API・ツールを呼び出し、その実行結果を応答に反映する仕組み

LLMに外部関数の呼び出し内容を構造化データとして出力させる、OpenAIが導入したツール連携の仕組み

LLMアプリケーションと外部のツール・データソースを標準化された方法で接続するオープンプロトコル

異なるベンダー・フレームワークで構築されたAIエージェント同士が連携するための標準プロトコル

複数のAIエージェントが役割を分担し、協調・連携しながらタスクを遂行するアーキテクチャ

与えられた目標を、実行可能なサブタスクの手順へ分解するエージェントの構成要素

プランナーが立てた計画に基づき、実際のツール呼び出しや行動を担うエージェントの構成要素

AIエージェントが過去のやり取りや学習内容を保持し、後続の判断に活用する仕組み

LLMが自身の出力を振り返り、批判・評価したうえで応答を改善する反復的な手法

あらかじめ定義された固定の手順に沿ってLLMやツールを呼び出す、定型的な処理の流れ

人の介在を最小限に抑え、目標達成まで自ら判断・行動を継続する自律性の高いAIエージェント

学習済みモデルへ入力を与え、出力を計算する処理

モデルが計算した確率分布から、次に出力するトークンを実際に選び取る処理

小規模な下書きモデルに複数トークンを先に生成させ、本体モデルで一括検証し生成を高速化する手法

複数の候補系列を並行して保持・評価しながら、より高い確率の系列全体を探索するデコーディング手法

LLMが生成したトークンを、完成を待たずに逐次クライアントへ送信する応答方式

複数の推論リクエストをまとめて処理し、GPUの利用効率とスループットを高める手法

Googleが開発した、ニューラルネットワークの行列演算に特化した専用プロセッサ

スマートフォンやPCなど、エッジデバイス上でニューラルネットワークの推論を効率的に処理する専用プロセッサ

OpenAIが開発する、デコーダのみのTransformerに基づく生成AIモデルファミリー

Anthropicが開発する、安全性とアライメントを重視した大規模言語モデルファミリー

Googleが開発する、テキスト・画像・音声等を統合的に扱うマルチモーダル大規模言語モデルファミリー

Metaが開発する、研究・商用利用向けに重みを公開しているオープンウェイトの大規模言語モデルファミリー

フランスのMistral AIが開発する、効率性を重視したオープンウェイトの大規模言語モデルファミリー

中国のDeepSeekが開発する、高いコスト効率と推論能力を特徴とするオープンウェイトの大規模言語モデルファミリー

中国のAlibaba Cloudが開発する、多言語対応を強みとするオープンウェイトの大規模言語モデルファミリー

Microsoftが開発する、高品質な学習データを重視した小規模言語モデルファミリー

Googleが公開する、Geminiの研究成果をもとに構築された軽量なオープンウェイトモデルファミリー

PagedAttentionによりGPUメモリを効率利用する、高スループットなオープンソースLLM推論・サービングエンジン

コマンド1つでLLMをローカル環境にダウンロードし実行できる、オープンソースのツール

GUI操作でローカルLLMのダウンロード・実行・チャットができる、デスクトップアプリケーション

C/C++で実装された、CPUでも動作する軽量なLLM推論ライブラリ

LLMアプリケーションの構築を、部品の組み合わせ(チェーン)として簡単にするPython/JavaScriptフレームワーク

状態遷移をグラフとして定義し、複雑なマルチエージェントアプリケーションを構築するフレームワーク

検索・質問応答システムの構築を起源とする、RAGパイプライン構築向けのオープンソースフレームワーク

役割を与えた複数のAIエージェントに協調してタスクを遂行させる、Pythonのマルチエージェントフレームワーク

複数のAIエージェントによる対話(カンバセーション)を通じてタスクを協調的に解決する、Microsoft発のフレームワーク

LLMアプリケーションをビジュアルなワークフロー画面で構築・運用できるオープンソースのLLMOpsプラットフォーム

ノードをドラッグ&ドロップで接続し、LLMアプリケーションを視覚的に構築するオープンソースツール

LLMノードにも対応した、ノードベースで業務プロセスを自動化するワークフロー自動化ツール

OllamaやOpenAI互換APIと連携できる、セルフホスト型のオープンソースLLMチャットUI

AMD GPUで汎用計算するためのオープンソースの並列計算プラットフォーム

量子化されたモデルの重みとメタデータを1ファイルにまとめた、llama.cpp発のモデル配布フォーマット

異なる機械学習フレームワーク間でモデルを共通形式として扱えるようにする、オープンなモデル形式

NVIDIA GPU上での推論を高速化する、NVIDIA製の推論最適化SDK

16ビットで数値を表現する浮動小数点フォーマット。学習・推論の高速化とメモリ削減に使われる

数値を8ビットの整数で表現する、量子化でよく用いられる数値形式

数値を4ビットの整数で表現する、LLMの大幅な軽量化に用いられる量子化精度

57分野の多岐選択問題でLLMの幅広い知識と理解力を測定するベンチマーク

関数のdocstringからコードを生成させ、テストの合格率でLLMのコーディング能力を測るベンチマーク

実際のGitHubリポジトリのIssueを解決させ、コーディングエージェントの実務能力を測るベンチマーク

人間の実際の投票による対戦形式で、LLM同士の相対的な性能を評価するベンチマークプラットフォーム

機械翻訳の出力と参照訳とのn-gramの一致度から翻訳品質を自動評価する指標

生成された要約と参照要約との単語の重なりから、要約品質を自動評価する指標群

モデルが陽性と予測した事例のうち、実際に正しかった割合を示す評価指標

実際に陽性である事例のうち、モデルが正しく検出できた割合を示す評価指標

適合率と再現率の調和平均により、両者をバランスよく評価する指標

悪意ある指示を入力に紛れ込ませ、LLMに開発者の意図しない挙動をさせる攻撃手法

特殊なプロンプトによってLLMに組み込まれた安全性の制約を回避させる手法

学習データに悪意あるデータを混入させ、モデルの挙動を意図的に歪ませる攻撃手法

LLMアプリケーションの入出力を監視・制御し、有害な出力や情報漏洩を防ぐための仕組み

氏名・住所・連絡先等、個人を特定できる情報の総称

攻撃者の視点でモデルやシステムの脆弱性を能動的に発見する、AIの安全性検証手法

ChatGPTやPerplexity等のLLMベースの検索・応答サービスに自社コンテンツが引用・言及されやすくなるよう最適化する取り組み

検索エンジンに限らず、AIが介在する様々な情報接点で自社コンテンツが見つかりやすく・使われやすくなるよう最適化する取り組みの総称

AWSが提供する、AIエージェントをフレームワーク・モデルを問わず安全かつスケーラブルに構築・運用するためのマネージドサービス群

AWSが提供する、複数のAIプロバイダの基盤モデルを単一APIで呼び出せるフルマネージドサービス

機械学習の実験管理・モデル管理・デプロイをフレームワーク非依存で扱うオープンソースプラットフォーム

LLMを組み込んだアプリケーションの開発・評価・デプロイ・運用を継続的に行うための一連のプラクティスと基盤

人間が都度プロンプトを打つ代わり、AIエージェントが試行・検証・修正を自律的に繰り返す「ループ」を設計する開発手法

AIエージェントに何を見せ、何をどこまでさせ、出力をどう検証するかという「環境全体」を設計する取り組み

プロンプト内にタスクの入力・出力例をいくつか示すことで、追加学習なしにLLMへ望む出力形式を伝える手法

明示的なルールを人手でプログラムする代わりに、データからパターンを学習し予測・判断するアルゴリズムの総称

各ノードが状態、各エッジが行動・選択を表す木構造を辿ることで、目標状態や最適解を探し出す探索手法

「甲が乙と関係し、乙が丙と関係するならば、甲も丙と関係する」という、関係の連鎖を保証する論理的性質

ある領域における概念・属性・関係を、機械が処理できる形で形式的に定義した語彙・知識の体系

人間が持つ常識的な知識を、述語論理の公理として大規模にエンコードすることを目指した記号主義AIの知識ベースプロジェクト

ニューロンの重み付き入力和に非線形変換を適用し、ネットワークが複雑な関数を表現できるようにする関数

ニューラルネットワークの入力層と出力層の間に位置し、特徴表現を段階的に変換する層

データの特徴量に対する条件分岐を木構造として繰り返し、分類・回帰を予測する機械学習モデル

多数の決定木をランダムな条件下で学習させ、それらの予測を多数決・平均で統合するアンサンブル学習手法

弱い予測モデルを1つずつ順番に追加し、直前までの予測誤差を勾配降下法的に修正しながら精度を高めるアンサンブル学習手法

複数の予測モデルの出力を組み合わせることで、単体のモデルより高い予測性能を実現する機械学習の手法群

クラス間のマージンを最大化する境界を見つけることで分類・回帰する機械学習モデル

特徴量の線形結合をシグモイド関数で確率に変換し、2値分類する統計的機械学習モデル

入力系列を、意味を圧縮した内部表現(コンテキストベクトル)へ変換するニューラルネットワークの構成要素

RNNを時間方向に展開した計算グラフに対して誤差逆伝播法を適用し、各時刻の重みを学習するアルゴリズム

LSTMを簡略化し、更新ゲートとリセットゲートの2つで情報の保持・忘却を制御するRNNのユニット構造

時間の経過に沿って一定間隔または連続的に観測・記録された、順序に意味のあるデータ

同一の入力系列内で各要素同士の関連度を計算し、系列全体の文脈を考慮した表現を得るAttentionの一形態

入力系列を、長さの異なる別の系列へ変換するEncoder-Decoder型のニューラルネットワークアーキテクチャ

入力データを一度圧縮してから復元するよう学習させることで、データの特徴表現を教師なしで獲得するニューラルネットワーク

2012年のImageNet画像認識コンペティションで圧勝し、深層学習ブームの契機となった畳み込みニューラルネットワーク

画像を1回のネットワーク推論で処理し、物体の位置と種類をリアルタイムに検出する物体検出モデル

物体検出タスクにおいて、画像内の対象物の位置と範囲を囲んで示す矩形の座標情報

テキストを連続するN個の単語・文字の並びに区切って扱う、統計的言語モデルの基礎となる表現手法

Googleが開発した、Pathwaysという分散学習システムを用いて学習された大規模言語モデル

直接観測できない状態の遷移を仮定し、観測データからその隠れた状態系列を推定する統計モデル

ランダムなシミュレーションの結果を用いて有望な手を評価しながら探索木を成長させる探索アルゴリズム

テキスト・画像・音声・動画等、複数の種類(モダリティ)のデータを組み合わせて扱うAIの性質・手法

クラウド上のサーバーではなく、スマートフォンやIoT機器等の端末上でAIモデルを推論する仕組み

出力の誤差を出力層から入力層へ逆向きに伝播させ、各重みの勾配を効率的に計算するニューラルネットワークの学習アルゴリズム

損失関数の勾配の逆方向へパラメータを少しずつ更新し、損失を最小化する最適化アルゴリズム

モデルが学習データの細部やノイズまで過剰に適合し、未知のデータに対する予測性能が低下する現象

学習時にニューロンの一部をランダムに無効化し、過学習を抑制するニューラルネットワークの正則化手法

モデルの予測と正解とのずれを数値化し、学習の最適化目標とする関数

勾配降下法においてパラメータを1回の更新でどれだけ動かすかを決めるハイパーパラメータ

実数値のベクトルを、合計1の確率分布へ変換する活性化関数

単語の周辺文脈から、意味的な類似性を反映した低次元の分散表現(単語埋め込み)を学習する手法

単語の出現頻度と、その単語が多くの文書に共通して現れるかどうかを掛け合わせ、文書における単語の重要度を測る統計的手法

頻出する文字・部分文字列のペアを繰り返し統合し、語彙を構築するサブワード分割アルゴリズム

モデルサイズ・データ量・計算量を増やすほど、損失が予測可能な形でべき乗則的に改善するという経験則

モデル規模がある閾値を超えたときに、小規模モデルには見られなかった能力が急激に現れる現象

新しいタスクを追加学習した際に、以前学習していたタスクの性能が大きく低下してしまう現象

データに徐々にノイズを加える過程を学習し、その逆過程をたどってノイズから新しいデータを生成するモデル

偽物を作る生成器と、本物・偽物を見分ける識別器を競わせながら学習させる生成モデルの枠組み

データを確率分布として潜在空間へ圧縮し、そこからのサンプリングで新しいデータを生成できるオートエンコーダ

クエリ・キーベクトルを位置に応じて回転させることで、Transformerに相対的な位置情報を組み込む位置エンコーディング手法

系列データを連続的な状態変数の遷移として捉え、系列長に対して線形の計算量で処理できるモデルアーキテクチャ

層の入力を出力へ直接加算することで、非常に深いニューラルネットワークでも学習を安定させる接続構造

各サンプルの特徴量方向に平均と分散を揃えることで、ニューラルネットワークの学習を安定させる正規化手法

文書群から抽出したエンティティ・関係のナレッジグラフを介して検索・生成するRAGの発展形

検索・生成の各ステップをAIエージェントが自律的に計画・実行・検証しながら進めるRAGの設計パターン

報酬モデルを別途学習せず、人間の選好データから直接LLMの方策を最適化するアライメント手法

多様なタスクを指示文と模範応答のペアとして学習させ、LLMの指示追従能力を高めるファインチューニング手法

人間があらかじめ定めた原則(憲法)に基づき、AI自身に自分の応答を評価・修正させてアライメントするAnthropic発の手法

LLMの出力を、あらかじめ定義したJSONスキーマなど決まったデータ構造に厳密に従わせる機能

プロンプトの共通部分をサーバー側でキャッシュし、繰り返し送信時のレイテンシとコストを削減する仕組み

実データの代わりに、モデルやシミュレーションによって人工的に生成される学習用データ

推論の過程とツールを使った行動を交互に繰り返しながらタスクを解決させるプロンプティング手法

AIがスクリーンショットを見ながらマウス・キーボード操作をし、人間と同じようにコンピュータ画面を直接操作する機能

AIの判断や行動の過程に人間の確認・承認を組み込み、誤りや意図しない結果を防ぐ設計パターン

複数のAIエージェントやツールへタスクを振り分け、全体の進行を統括する管理役のコンポーネント

人間による評価の代わりに、別のLLMに応答の品質を採点・比較させる評価手法

言語モデルが次のトークンをどれだけ的確に予測できているかを示す、確率に基づく評価指標

小学校レベルの算数文章題8,500問で、LLMの多段階推論能力を測定するベンチマーク

長いコンテキストの中に埋め込んだ短い一文をLLMが正確に検索・想起できるかを測るテスト

NVIDIAが提供する、複数のフレームワークで学習したモデルを統一的にデプロイ・実行できるオープンソースの推論サーバー

Pythonの並列・分散処理を簡単に書けるようにする、機械学習ワークロード向けのオープンソース分散実行フレームワーク

学習済みモデル・データセット・ライブラリを公開・共有するオープンソースのAIコミュニティプラットフォーム

複数のLLMプロバイダへのAPI呼び出しを単一の窓口に集約し、ルーティング・認証・コスト管理などを一元化するミドルウェア

GPUのメモリ階層を意識した計算順序により、通常のAttentionと同じ結果を高速かつ省メモリに計算するアルゴリズム

複数のクエリヘッドをいくつかのグループに分け、グループ内でキー・バリューヘッドを共有するAttentionの構造

全てのクエリヘッドが単一のキー・バリューヘッドを共有し、KVキャッシュを最小限に抑えるAttentionの構造

各トークンが固定サイズの近傍ウィンドウ内のみを参照することで、計算量を系列長に対して線形に抑えるAttentionの手法

各トークンごとに処理へ使う層の数を動的に決め、計算量を必要最小限に絞るTransformerの設計

タスクの例を1つも示さず、指示文だけでLLMに未知のタスクをこなさせる手法

同じ問題に対する複数の推論過程をサンプリングし、多数決で最終的な答えを決めるプロンプティング手法

推論の途中経過を木構造の分岐として展開し、評価しながら有望な経路を探索するプロンプティング手法

LLM自身に指示・応答のペアを生成させ、指示チューニング用データセットを合成する手法

1つの複雑なタスクを複数のプロンプトに分割し、前段の出力を次段の入力として順につなげていく手法

検索した正解文書と無関係な文書(ディストラクタ)を含めてファインチューニングし、RAG利用時の頑健性を高める手法

階層構造を持つグラフを辿ることで、高次元ベクトルの近似最近傍探索を高速に行うアルゴリズム

Meta(旧Facebook)が開発した、高次元ベクトルの類似検索・クラスタリング向けオープンソースライブラリ

2つのベクトルがなす角度の近さから、意味的な類似度を測る指標

イーロン・マスク率いるxAIが開発する、X(旧Twitter)との統合を特徴とする大規模言語モデルファミリー

カナダのCohereが開発する、企業向けRAG・検索用途に強みを持つLLM・埋め込みモデルファミリー

Stability AIが公開した、オープンウェイトの拡散モデルベースによるテキストから画像を生成するモデル

OpenAIが公開した、多言語対応のオープンソース音声認識(ASR)モデル

画像とテキストを同じ埋め込み空間へ対応づけ、両者の意味的な近さを比較できるようにするOpenAIのマルチモーダルモデル

誤った通説や俗説に迎合せず、真実に基づいた回答をLLMが返せるかを測るベンチマーク

状況説明に続く最も自然な文の続きを4択から選ばせ、常識的な推論力を測るベンチマーク

複数ターンにわたる会話でのLLMの応答品質を、強力な別のLLMに採点させて評価するベンチマーク

対戦結果の勝敗から、相対的な強さを1つの数値で表すレーティングシステム

ミニバッチ単位で各層の出力を平均0・分散1に正規化し、深層学習の学習を安定させる手法

深いニューラルネットワークで誤差逆伝播をする際、浅い層へ伝わる勾配が極端に小さくなり学習が進まなくなる問題

勾配の1次・2次モーメントを推定し、パラメータごとに学習率を自動調整する適応的最適化アルゴリズム

状態と行動の組み合わせの価値(Q値)を試行錯誤を通じて学習する、強化学習の代表的な手法

APIへの大量の問い合わせと応答の観察から、対象モデルの挙動を模倣する代替モデルを構築する攻撃

生成テキストの単語選択に統計的な偏りを埋め込み、AI生成コンテンツかどうかを後から検出可能にする技術

学習データに特定のトリガーを仕込み、そのトリガーが入力に含まれたときだけモデルに異常な挙動をさせる攻撃

AIエージェントのコード実行やツール利用を、隔離された安全な環境内に限定する仕組み

LLMがコードを生成し、その場で実行して結果を確認しながら回答を組み立てる機能

AIエージェントがWebブラウザを直接操作し、Webサイト上のタスクを自律的にこなす技術

エージェントが環境との試行錯誤を通じて、報酬を最大化する行動を学習する機械学習の枠組み

大規模データから汎用的な知識や表現をあらかじめ学習させ、下流タスクの土台を作る学習段階

画像と言語を同時に理解し、画像に関する質問応答や説明生成ができるマルチモーダルモデル

アプリケーションのトレース・メトリクス・ログを収集するためのベンダー中立なオブザーバビリティ標準

非常に長い入力を一度に処理し、その内容を精度良く活用できるLLMの能力、およびそれを実現するための技術群

限られたコンテキストウィンドウ内でLLMやエージェントが最大の性能を発揮できるよう、渡す情報全体（指示・例・ツール定義・検索結果・記憶等）を設計する実践

自己回帰的に1トークンずつ生成するのでなく、ノイズ除去過程を繰り返してテキストを並列生成するLLM

コード補完だけでなく、複数ファイルの編集やエージェント機能をエディタに統合したAI搭載の統合開発環境

コードの生成だけでなく、実行・テスト・修正までを自律的に繰り返しソフトウェア開発タスクをこなすAIエージェント

リクエストの内容や要求される品質・コストに応じて、複数のLLMから最適なモデルを自動的に選択して振り分ける仕組み

クラウドAPIを介さず、自分のPCやオンプレミス環境で実行するLLMの運用形態

学習済みモデルの推論時に計算量を追加投入し、思考の長文化や複数候補の生成・選別によって回答品質を高めるアプローチ

価値関数モデルを使わず、同一プロンプトから生成した複数出力のグループ内比較で優位性を計算する、LLM向けの強化学習アルゴリズム

学習済みの報酬モデルの代わりに、数学の正誤判定やテストの合否など機械的に検証できる報酬を使ってLLMを強化学習する手法

環境のダイナミクスを学習し、行動の結果を内部でシミュレートできるようにするモデル

ロボットや自動運転車など、物理世界を知覚し行動する機械に組み込まれるAI

エージェントが多数のWeb情報源を反復的に検索・閲覧し、出典付きの調査レポートを自動生成する機能の総称

自然言語で意図を伝え、生成されたコードの詳細を検証せずAIとの対話を繰り返して開発を進めるスタイル

実装前に要件・設計・タスクを仕様書として明文化し、それをコーディングエージェントへの入力としてコードを生成する開発手法

親エージェントがタスクの一部を委譲するために起動する、独立したコンテキストを持つ子エージェント

WebサイトのルートにMarkdown形式で置き、LLMにサイトの概要と主要コンテンツを伝える提案仕様

自国のデータ・インフラ・人材を用いて、国家が自律的にAI能力を構築・管理するという考え方

特定のタスクに限定されず、人間が行える幅広い知的タスクを人間と同等以上に遂行できるAIの概念

テキスト・画像・音声・動画・コードなどの新しいコンテンツを生成できるAIの総称

大量のデータで事前学習され、ファインチューニングやプロンプトによって幅広いタスクへ適応できる汎用モデル

その時点で最も高い能力を持つ一群の基盤モデルを指す、主に安全性・政策の文脈で使われる言葉

OpenAIが開発する、テキストから動画を生成するAIモデル

Google DeepMindが開発する、テキストや画像から音声付きの動画を生成するAIモデル

芸術的な画風に強みを持つ、テキストから画像を生成するサブスクリプション型AIサービス

Stable Diffusionの元開発メンバーが設立したBlack Forest Labsによる画像生成AIモデルのシリーズ

アップロードした資料だけを情報源として質問応答・要約・音声解説ができる、GoogleのAIリサーチアシスタント

中国のMoonshot AIが開発するLLMシリーズ。オープンウェイトの大規模MoEモデルKimi K2で注目された

点やボックスの指示だけで画像内の任意の物体を切り出せる、Metaのセグメンテーション基盤モデル

アミノ酸配列からタンパク質の立体構造を予測する、Google DeepMindのAIモデル

深層学習とモンテカルロ木探索を組み合わせ、囲碁で人間のトップ棋士に初めて勝利したGoogle DeepMindのAI

視覚と言語の理解に行動の生成を統合し、カメラ映像と自然言語の指示からロボットの動作を出力する基盤モデル

テキストや画像などの指示から動画を生成するAI技術の総称

テキストから人間の音声を生成する技術。ニューラル方式の登場で自然さが向上した

選択的状態空間モデルに基づき、系列長に線形の計算量で長い系列を処理できるアーキテクチャ

画像をパッチの系列に分割してTransformerで処理する画像認識アーキテクチャ

縮小と拡大の経路をスキップ接続でつないだU字型のネットワーク。セグメンテーションと拡散モデルで標準的な構成

内部表現から出力系列を生成する側のネットワーク。デコーダのみを積んだ構成が現在のLLMの主流

キーとバリューを低ランクの潜在ベクトルへ圧縮して保持し、KVキャッシュを削減する注意機構

語順を区別できない自己注意機構へ、トークンの位置情報を与える仕組み

重みを更新せず、プロンプト内の例示や指示だけから新しいタスクの解き方を捉えて実行するLLMの能力

人手のラベルを使わず、データ自体から擬似的な正解を作って学習する方式。LLMの事前学習の基盤

似たデータの表現を近づけ、異なるデータの表現を遠ざけるように埋め込みを学習する方式

データを1か所に集めず、端末や組織ごとの学習結果だけを集約して共有モデルを作る分散学習方式

モデルの大部分を凍結し、少数のパラメータだけを学習してファインチューニングする手法の総称

ベースモデルを4bitに量子化して凍結し、その上にLoRAを載せて学習するメモリ効率の高いファインチューニング手法

人間の代わりにAIモデルが出力を評価し、そのフィードバックでモデルを強化学習する手法

LLMの出力の良し悪しをスコアとして予測し、強化学習の審判役を担うモデル

エージェントが意図した目的を達成せず、報酬関数の欠陥や抜け穴を突いて報酬だけを最大化する現象

事前学習を終えたモデルへ行う、指示チューニング・選好学習・強化学習などの追加学習の総称

複数の学習済みモデルの重みを演算で合成し、追加学習なしで新しいモデルを作る手法

過学習の後も学習を続けると、あるタイミングで突然汎化が起きる現象

既存の学習データへ変換を加えて多様性を増やし、モデルの汎化性能を高める技術

テキストをモデルが扱う最小単位であるトークンの列へ分割する処理

実体をノード、実体間の関係をエッジとして知識をグラフ構造で表現したデータベース

深層学習で人物の顔・声・動作を合成し、本物と見分けにくい偽の画像・動画・音声を作る技術とその生成物

組織のIT部門の承認や管理を経ずに、従業員が業務で無断利用するAIツール

品質や正確さへの配慮なく大量生産され、WebやSNSにあふれる低品質なAI生成コンテンツを指す俗語

AIの判断の根拠を人間が理解できる形で提示するための技術・研究分野

ニューラルネットワーク内部の重みや活性を解析し、モデルの内部回路・アルゴリズムの解明を目指す研究分野

AIの用途をリスクで分類して禁止や義務を定める、EUによる包括的なAI規制法

機械学習モデルの用途・性能・制限・倫理的考慮事項を整理して公開する標準的なドキュメント形式

RadixAttentionによる接頭辞キャッシュの再利用を特徴とする、オープンソースのLLM推論サービング基盤

LLM推論に特化した独自チップLPUを開発する半導体企業と、その高速推論クラウドサービス

ZeROによる分散学習を中心に、大規模モデルの学習・推論を効率化するMicrosoftのオープンソースライブラリ

機械学習の実験管理を中心とするMLOpsプラットフォーム。LLM向けのトレース・評価機能も提供

検索しても解けない大学院レベルの科学問題で構成される、高難度の質問応答ベンチマーク

米国の数学コンテストを転用した、LLMの数学的推論能力を測る高難度ベンチマーク

少数の例示から図形パターンの変換規則を見抜く、抽象化と推論の能力を測るベンチマーク

世界中の専門家が作成した数千問の難問で構成される、フロンティアモデル向けの最高難度ベンチマーク

評価用ベンチマークの問題や解答が学習データへ混入し、評価スコアが実力以上に高く出てしまう問題