Re Reference AI

事前学習とは?関連技術・用語一覧

事前学習は、大量の汎用データでモデルに基礎的な能力を獲得させる学習段階です。LLMでは大規模テキストコーパスからの次トークン予測により、言語理解と知識の基盤を構築します。

事前学習に関連する用語(8件)。定義・仕組みは事前学習の用語ページで解説。

事前学習関連のモデル(3件)

BERT

Bidirectional Encoder Representations from Transformers

文中の前後の文脈を双方向に参照して単語表現を学習する、Transformerエンコーダベースの事前学習済み言語モデル

モデルNLPTransformer事前学習

基盤モデル

Foundation Model / ファウンデーションモデル

大量のデータで事前学習され、ファインチューニングやプロンプトによって幅広いタスクへ適応できる汎用モデル

モデル事前学習LLM

T5

Text-to-Text Transfer Transformer

あらゆる自然言語処理タスクをテキスト入力からテキスト出力への変換として統一的に扱うGoogleのエンコーダ・デコーダ型言語モデル

モデルLLMGoogle事前学習

事前学習関連の技術(5件)

転移学習

Transfer Learning

あるタスク・ドメインで学習したモデルの知識を、別の関連タスク・ドメインへ再利用する機械学習の手法

技術機械学習事前学習

事前学習

Pre-training / Pretraining

大規模データから汎用的な知識や表現をあらかじめ学習させ、下流タスクの土台を作る学習段階

技術学習事前学習LLM

自己教師あり学習

Self-Supervised Learning / SSL

人手のラベルを使わず、データ自体から擬似的な正解を作って学習する方式。LLMの事前学習の基盤

技術学習事前学習

Common Crawl

月次で数十億ページ規模のWebページをクロールし無償公開しているオープンなWebアーカイブで、多くのLLMの事前学習データの主要な情報源

技術データ事前学習

MLM

Masked Language Model / マスク化言語モデル / マスク言語モデリング

入力トークンの一部をランダムにマスクし、その単語を周囲の文脈から予測させることで双方向の言語表現を学習する事前学習手法

技術NLP事前学習

事前学習関連の特集記事

主要オープンウェイトLLMモデル一覧

Llama・Mistral・DeepSeek・Qwen・Phi・Gemma等、モデルの重みが公開されている主要なオープンウェイトLLM・生成AIモデルを一覧で紹介。各モデルの特徴・開発元比較・リリース年表まとめ。

モデル9モデル

主要クローズドウェイトLLMモデル一覧

GPT・Claude・Gemini・Grok・Cohere等、モデルの重みが非公開でAPI経由で提供される主要なクローズドウェイトLLMを一覧で紹介。各モデルの特徴・開発元比較・発表年表まとめ。

モデル5モデル

事前学習関連の年表

Transformerの歴史

自己注意機構(Self-Attention)のみで構成されるTransformerアーキテクチャが2017年に登場して以降、自然言語処理から画像・音声まで広がっていった変遷をたどる。

アーキテクチャ7件のイベント / 2017 - 2023

LLMの歴史

Transformerの登場から、ChatGPTによる一般普及、オープンウェイトモデルの拡大、推論特化モデルの登場まで、大規模言語モデル(LLM)全体の主要な流れをベンダー横断でたどる。

モデル8件のイベント / 2017 - 2025

関連するタグ

LLMNLP学習Transformer機械学習データGoogle