Common Crawlとは

月次で数十億ページ規模のWebページをクロールし無償公開しているオープンなWebアーカイブで、多くのLLMの事前学習データの主要な情報源

ひとことで言うと

インターネット全体を定期的に巡回して集めたWebページのデータを、誰でも無料で使えるよう公開しているアーカイブ。

概要

Common Crawlとは、非営利団体Common Crawl Foundationが運営する、Web全体を定期的にクロールしそのアーカイブデータを無償で一般公開しているプロジェクト。 2008年以降、月1回程度のペースでクロールを実施しており、1回のクロールで20億ページ超のWebページを収集、蓄積データ量は10ペタバイトを超える。収集データはHTML・テキスト抽出済みデータ・メタデータ等の形式で、誰でも自由にダウンロード・利用できる。 GPT-3をはじめとする多くのLLMが、事前学習データセットの主要な構成要素としてCommon Crawlのフィルタリング済みデータを利用しており、大規模言語モデルの学習データの土台となるWebコーパスの代表例として位置づけられる。

背景

大規模言語モデルの事前学習には、Web規模のテキストデータが不可欠だが、個々の企業・研究機関が独自にWeb全体をクロールするのは技術的・コスト的なハードルが高い。Common Crawlは、Webクロールデータを誰もが利用できるオープンな公共財として提供することで、この参入障壁を下げる目的で運営されている。

歴史

2007年: Gil Elbazが非営利団体Common Crawl Foundationを設立。 2008年: 最初のWebクロールデータの蓄積を開始。 2020年代: OpenAIのGPT-3の学習データの大部分がフィルタリング済みCommon Crawlデータで占められていたことが論文で報告され、LLMの事前学習データセットとしての利用が広く知られるようになった。 2023年: AnthropicやOpenAI等のAI企業がそれぞれ25万ドルを寄付するなど、AI業界からの支援が拡大している。

利点

• 誰でも無償でダウンロードできる、Web規模のテキストデータの代表的な情報源
• 月次で継続的に更新されており、最新のWebコンテンツを反映したデータを取得できる

欠点

• クロール対象・品質に偏りがあり、そのまま学習に使うには重複除去・フィルタリング等の前処理が必須
• 著作権保護されたコンテンツも含まれており、学習データとしての利用を巡る法的な議論の対象になっている

比較

• コーパス — Common Crawlは、LLMの事前学習に使われる代表的な大規模Webコーパスの1つ

関連用語

よくある質問

参考文献

• Official WebsiteCommon Crawl
• DocumentationCommon Crawl - Wikipedia