データ分析を仕事にして1年半、世の分析という言葉に違和感を覚えてきた。
その一つが効果検証である。
ひとつ言っておく、効果検証は簡単ではない。
なんとなく正しそうな効果検証はだいたい間違っている。
詳細は下記のような専門書（それでも入門）に譲るが・・・、正しい意思決定は正しい前提に基づくことを忘れないでほしい。
まず考えることとしては、(1)比較対象が正しいのかだ。
続いて、(2)正しいと思っていたことは実証されたのか、
最後に、(3)結論ありきで分析していないかと考えていこう。
1. 比較対象が正しいのか
たとえば、Webマーケティングを題材にする。
ダイレクトメールを送った場合に、売り上げは上がるのか？という問題があるとする。
実はこの問題、ダイレクトメールを送った場合に、（あるユーザーの）売り上げは上がるのか？と言い換えられる。
特定のユーザーの、ダイレクトメール送った場合、送らなかった場合を考える必要がある。
実際はどちらかしか観測できないのだが・・・。
さてどうするか？考えてみてほしい。
答えは、似たようなユーザーを対比することで解決する。
ユーザーAに似たユーザーBを用意し、ダイレクトメールを送る or 送らない場合という比較を行うわけである。
2. 正しいと思っていたことは実証されたのか
これは、前提としていた考え方が実験上正しかったのか、データで判断する必要があるということだ。
上記にある、
ユーザーAに似たユーザーBを用意し、ダイレクトメールを送る or 送らない場合という比較を行うわけである。
を実際に似ていたのか？を検証する。
Webマーケティングでよく使われるA/Bテストでよくありがちなことは、ランダムに割り付けたらOKと思考停止していることだ。
本当にAとBは似たような人たちだったのだろうか？
全く別の人たちのデータを取ってきていないか？ということだ。
3. 結論ありきで分析していないか
ダイレクトメールを送った場合に、売り上げは上がるのか？という問題は、よく隠れた前提・結論がある。
過去からしてきた分析通りに、売り上げが上がっている（はず）という結論である。
過去のそれぞれの分析は正しいのか？
やりたいことの後付けのために分析していないか？
もし結論から外れた場合、社内でどう扱われるのか？そうすると結論はどう変化し得るのか？
・・・のように、実は分析が間違うのは、このようなビジネスの意思決定上の問題であったりする。
社内での当たり前は本当に当たり前なのか、それに立ち向かって結果を変えられるのか、だいたい間違っている原因はここにある。