PaLMとは
Pathways Language Model
Googleが開発した、Pathwaysという分散学習システムを用いて学習された大規模言語モデル
ひとことで言うと
Googleが開発した大規模なAIモデル。
概要
PaLM(Pathways Language Model)とは、Googleが開発した大規模言語モデルで、複数のタスク・データ型を効率的に学習・実行するために設計された分散学習システム「Pathways」を用いて学習された。 数百億パラメータ規模のTransformerベースのモデルであり、多段階の推論を要する複雑な問題において、Chain-of-Thoughtプロンプティングと組み合わせることで高い性能を示したことが報告されている。 後継としてPaLM 2が発表され、Googleの生成AIサービスの基盤モデルとしても利用された。
背景
従来、タスクや目的ごとに個別のモデルを学習・運用することが多く、計算資源の利用効率や、複数タスクにまたがる知識の共有が課題になっていた。 Pathwaysは、単一のモデルで複数のタスク・モダリティを効率的に扱えるようにすることを目指した分散学習システムであり、PaLMはこの仕組みを用いて大規模に学習された最初期のモデル群の1つ。
歴史
2022年: Googleが、5400億パラメータのPaLMを発表する論文を公開。 2023年: 改良版のPaLM 2が発表され、Googleの各種生成AIサービスに組み込まれる。 2023年以降: Googleの主力LLMラインはGeminiシリーズに移行していった。
アーキテクチャ
デコーダのみで構成されるTransformerアーキテクチャを採用し、パラメータ数5400億の単一モデルとして学習された。 数千個のTPUチップにまたがる学習を効率的に行うため、Pathwaysシステムによって計算資源の割り当てとデータ並列・モデル並列を柔軟に制御している。
利点
- Pathwaysにより、複数のTPUポッドにまたがる大規模な学習を効率的に実行できた
- Chain-of-Thoughtプロンプティングと組み合わせることで、算数の文章題等、多段階の推論が必要なタスクで高い性能を示した
欠点
- 5400億パラメータという規模上、学習・推論に大量の計算資源を要する
- 後継のPaLM 2やGeminiシリーズの登場により、現在はGoogleの主力モデルとしては使われていない
比較
- Gemini — PaLMはGoogleの初期の大規模言語モデルであり、後継の主力モデルとしてGeminiシリーズに移行した
- Chain-of-Thought — PaLMは、Chain-of-Thoughtプロンプティングと組み合わせた際の推論性能向上を示した代表的なモデルの1つ
関連用語
よくある質問
PaLMは今も使われている？
Googleの主力LLMラインはPaLM 2を経てGeminiシリーズへ移行しており、PaLM自体が現在の主要サービスで使われることは少ない。
参考文献
- Research PaperPaLM: Scaling Language Modeling with Pathways