事前学習

事前学習に関連する用語（7件）

事前学習は、大量の汎用データでモデルに基礎的な能力を獲得させる学習段階です。LLMでは大規模テキストコーパスからの次トークン予測により、言語理解と知識の基盤を構築します。

用語一覧

Bidirectional Encoder Representations from Transformers

文中の前後の文脈を双方向に参照して単語表現を学習する、Transformerエンコーダベースの事前学習済み言語モデル

Transfer Learning

あるタスク・ドメインで学習したモデルの知識を、別の関連タスク・ドメインへ再利用する機械学習の手法

Pre-training / Pretraining

大規模データから汎用的な知識や表現をあらかじめ学習させ、下流タスクの土台を作る学習段階

Foundation Model / ファウンデーションモデル

大量のデータで事前学習され、ファインチューニングやプロンプトによって幅広いタスクへ適応できる汎用モデル

Self-Supervised Learning / SSL

人手のラベルを使わず、データ自体から擬似的な正解を作って学習する方式。LLMの事前学習の基盤

月次で数十億ページ規模のWebページをクロールし無償公開しているオープンなWebアーカイブで、多くのLLMの事前学習データの主要な情報源

Masked Language Model / マスク化言語モデル

入力トークンの一部をランダムにマスクし、その単語を周囲の文脈から予測させることで双方向の言語表現を学習する事前学習手法