A/Bテスト（A/B Testing）とは
A/B Testing
2つ以上のバリエーションをユーザーに提示し実際の反応の差を統計的に比較する評価手法
概要
A/Bテストは、比較したい2つ以上のバリエーション(モデル・機能・文言など)をユーザーへランダムに振り分けて提示し、クリック率・満足度・タスク成功率といった実際の反応の差を統計的に比較する評価手法。 オフラインのベンチマークスコアだけでは捉えにくい、実際の利用環境でのユーザー体験や事業指標への影響を検証できる点が特徴。 LLMを組み込んだ製品においても、プロンプトやモデルのバージョン変更が実際のユーザー満足度や継続利用率にどう影響するかを検証するために用いられる。 サンプルサイズや統計的有意性の設計が不十分だと誤った結論を導きやすく、評価期間や指標の設計が重要になる。