Re Reference AI

モデル

PaLMとは

Pathways Language Model

Googleが開発した、Pathwaysという分散学習システムを用いて学習された大規模言語モデル

LLM

ひとことで言うと

Googleが開発した大規模なAIモデル。

概要

PaLM(Pathways Language Model)とは、Googleが開発した大規模言語モデルで、複数のタスク・データ型を効率的に学習・実行するために設計された分散学習システム「Pathways」を用いて学習された。 数百億パラメータ規模のTransformerベースのモデルであり、多段階の推論を要する複雑な問題において、Chain-of-Thoughtプロンプティングと組み合わせることで高い性能を示したことが報告されている。 後継としてPaLM 2が発表され、Googleの生成AIサービスの基盤モデルとしても利用された。

歴史

2022年: Googleが、5400億パラメータのPaLMを発表する論文を公開。 2023年: 改良版のPaLM 2が発表され、Googleの各種生成AIサービスに組み込まれる。 2023年以降: Googleの主力LLMラインはGeminiシリーズに移行していった。

比較

  • Gemini — PaLMはGoogleの初期の大規模言語モデルであり、後継の主力モデルとしてGeminiシリーズに移行した
  • Chain-of-Thought — PaLMは、Chain-of-Thoughtプロンプティングと組み合わせた際の推論性能向上を示した代表的なモデルの1つ

関連用語

GeminiTransformerChain-of-Thought

参考文献

関連Zenn記事