多変量テスト

多変量テストとは、施策の候補を複数のパターンで実施する際、変更する複数の変数のすべての組み合わせを一定期間に同時に行い、どの組み合わせが効果的かを検証する検定のこと、もしくはその取り組み全体のこと。Multivariate Testを略して「MVT」と呼ばれることもある。

基準となるオリジナルパターンに対して、例えば「色」と「形」で検証する場合、オリジナルパターンとバリエーションパターンの色と形のすべての組み合わせで同時にテストを実施し、効果に統計的な有意差が見られるかどうかをもって判断する。

  • オリジナル色 × オリジナル形
  • バリエーション色 × オリジナル形
  • オリジナル色 × バリエーション形
  • バリエーション色 × バリエーション形

手法としてA/Bテストと似ているが、統計的な検証をするのにA/Bテストよりもさらに十分な件数(サンプルサイズ)を必要とし、実施期間も長期化する。

施策を全体に展開するのではなく、施策が有効かどうかを事前のテストで確認できる利点がある。