大量のテキストコーパスで学習し、言語を予測・生成するニューラルネットワーク

注意機構(Attention)ベースの系列モデリング用ニューラルネットワークアーキテクチャ

検索(Retrieval)と生成モデルを組み合わせ、外部知識に基づいて出力を根拠づける手法

事前学習済みモデルを追加学習し、特定タスクやドメインへ適応させる手法

生物の神経回路を模した数理モデルで、層状に接続したノード間の重み付き信号伝播により学習する

言語モデルの学習・分析に使われる、構造化されたテキストデータの集合

隠れ状態を介して過去の情報を保持しながら系列データを逐次処理するニューラルネットワーク

コンピュータに人間の言語を理解・生成・分析させるための技術分野

多数の層を持つニューラルネットワークを用いてデータから高次の特徴表現を自動学習する機械学習手法

入力系列の各要素に動的な重みを割り当て、関連度の高い部分に着目して処理するニューラルネットワークの機構

大量の演算を並列処理できる専用プロセッサで、深層学習の学習・推論を支える計算基盤