毒性（有害性）とは
Toxicity / 有害性
AIの出力に含まれる暴言・差別・脅迫などの有害な表現の度合いと、それを測る評価の観点
最終更新:
概要
毒性(Toxicity)は、文章に含まれる侮辱・差別的な表現・脅迫・卑猥な表現など、相手を傷つけたり不快にさせたりする要素の度合いを指す。LLMはWeb上の大量のテキストで事前学習されるため、学習データに含まれる有害な表現を再現してしまうことがある。 評価では、有害な出力を誘発しやすいプロンプトを与え、生成文を毒性判定の分類器でスコア化し、閾値を超えた出力の割合などを測る。判定にはGoogleのJigsawが提供するPerspective APIなどが使われてきた。対策としては、RLHFなどのアライメントで有害な出力を避けるよう学習させる方法や、入出力をフィルタリングするガードレール、コンテンツモデレーションの仕組みが組み合わされる。 何を有害とみなすかは文化・言語・文脈によって異なり、分類器自体が特定の方言や属性に関する語を過剰に有害と判定する偏りも指摘されている。
歴史
2020年にGehmanらが論文「RealToxicityPrompts」を発表し、言語モデルが有害な文章を生成する傾向を大規模に測定する評価データセットを公開した。