コンテンツモデレーションとは
Content Moderation
ユーザー生成コンテンツやAIの生成物から、暴力的表現やヘイトスピーチなどの有害なコンテンツを検出・排除する取り組み
ひとことで言うと
SNSやAIが出す文章・画像から、暴力的・不適切な内容を見つけて取り除く取り組み。
概要
コンテンツモデレーション(Content Moderation)とは、プラットフォーム上のユーザー生成コンテンツや生成AIの出力に含まれる、暴力的表現・ヘイトスピーチ・性的コンテンツ・誤情報などの有害な内容を検出する取り組みを指す。 検出した内容は削除・警告・非表示などの形で対応する。 従来はSNS等における人手やルールベースのフィルタリングが中心だったが、生成AIの普及に伴い、LLMやマルチモーダルモデルの出力を対象としたコンテンツモデレーションも重要性を増している。 OpenAIのModeration APIのように、有害コンテンツの検出に特化したモデルをAPIとして提供するサービスも登場している。 Guardrails(ガードレール)が入出力全般を対象とする広い安全対策の枠組みであるのに対し、コンテンツモデレーションは有害コンテンツの検出・排除に焦点を当てた取り組みとして位置づけられる。
歴史
生成AI文脈での明確な起点は特定しがたいが、2022年にOpenAIが「Moderation API」を無償公開し、テキストの有害性を検出するモデルを提供したことが、LLM出力に対するコンテンツモデレーションの普及の契機の1つとなった。
利点
- 有害コンテンツをユーザーへ届く前に検出・遮断でき、プラットフォームの安全性を高められる
- 専用APIの利用により、自前でモデルを構築せずとも一定の検出精度を得られる
欠点
- 文脈やニュアンスの判断が難しく、誤検知・見逃しの両方が起こりうる
- 言語や文化圏によって「有害」の基準が異なり、単一の基準では対応しきれない場合がある
比較
関連用語
参考文献
- DocumentationOpenAI Moderation API