フィルタリングなしのデータセット収集とは
Unfiltered Dataset Collection / 未フィルタリングデータ収集
安全性や品質による除外処理を行わずに、学習用のデータを集めること
最終更新:
ひとことで言うと
AIの学習用データを集めるときに、有害な内容や質の低い内容をふるい落とさず、そのまま集めること。
概要
フィルタリングなしのデータセット収集(Unfiltered Dataset Collection)とは、LLMなどの学習用データを集める際に、有害表現・個人情報・低品質な文章などを除外するフィルタリングを行わない、または最小限にとどめて収集すること。 通常の事前学習では、Common Crawlのようなウェブクロールデータから重複の除去、品質の低い文書や有害な文書の除外、個人情報の削除などを経てコーパスを作る。指示チューニング用のデータでも、応答拒否や安全上の注意書きを含む例を残すかどうかでモデルの振る舞いが変わる。 フィルタリングを省いたデータは、有害表現の検出器の学習や、元のデータ分布をそのまま分析する研究、アンセンサードモデルの作成などに使われることがある。一方で、学習したモデルは有害な内容や個人情報、偏見を含む出力をしやすくなる。著作権やライセンス上の問題を含むデータが混入するリスクもある。 特定の手法名ではなく、データ収集の方針を表す言い回しとして使われる。