Rの考え方

Rの個人研究・考察を行うブログ。最近は因果推論とアナリティクス(機械学習、統計はお休み中)、認知論にお熱。

ブログ

効果検証はだいたい間違っている

投稿日:

データ分析を仕事にして1年半、世の分析という言葉に違和感を覚えてきた。

その一つが効果検証である。

ひとつ言っておく、効果検証は簡単ではない
なんとなく正しそうな効果検証はだいたい間違っている。

詳細は下記のような専門書(それでも入門)に譲るが・・・、正しい意思決定は正しい前提に基づくことを忘れないでほしい。

まず考えることとしては、(1)比較対象が正しいのかだ。

続いて、(2)正しいと思っていたことは実証されたのか

最後に、(3)結論ありきで分析していないかと考えていこう。

1. 比較対象が正しいのか

たとえば、Webマーケティングを題材にする。
ダイレクトメールを送った場合に、売り上げは上がるのか?という問題があるとする。

実はこの問題、ダイレクトメールを送った場合に、(あるユーザーの)売り上げは上がるのか?と言い換えられる。
特定のユーザーの、ダイレクトメール送った場合、送らなかった場合を考える必要がある。
実際はどちらかしか観測できないのだが・・・。

さてどうするか?考えてみてほしい。

答えは、似たようなユーザーを対比することで解決する。
ユーザーAに似たユーザーBを用意し、ダイレクトメールを送る or 送らない場合という比較を行うわけである。

2. 正しいと思っていたことは実証されたのか

これは、前提としていた考え方が実験上正しかったのか、データで判断する必要があるということだ。

上記にある、

ユーザーAに似たユーザーBを用意し、ダイレクトメールを送る or 送らない場合という比較を行うわけである。

を実際に似ていたのか?を検証する。

Webマーケティングでよく使われるA/Bテストでよくありがちなことは、ランダムに割り付けたらOKと思考停止していることだ。
本当にAとBは似たような人たちだったのだろうか?

全く別の人たちのデータを取ってきていないか?ということだ。

3. 結論ありきで分析していないか

ダイレクトメールを送った場合に、売り上げは上がるのか?という問題は、よく隠れた前提・結論がある。

過去からしてきた分析通りに、売り上げが上がっている(はず)という結論である。

過去のそれぞれの分析は正しいのか?

やりたいことの後付けのために分析していないか?

もし結論から外れた場合、社内でどう扱われるのか?そうすると結論はどう変化し得るのか?

・・・のように、実は分析が間違うのは、このようなビジネスの意思決定上の問題であったりする。
社内での当たり前は本当に当たり前なのか、それに立ち向かって結果を変えられるのか、だいたい間違っている原因はここにある。

-ブログ

執筆者:


  1. […] 気になる方は、以前書いた効果検証はだいたい間違っているをご覧ください。 ホント知らない人はよく間違うんですよね。おすすめです。 […]

comment

メールアドレスが公開されることはありません。

関連記事

29歳は何のために生きるのか

私は恵まれて育ってきた。 間違いなく恵まれた両親から、祖父母から、環境から守られて生きてきた。 お金の心配もなく、食べ物の心配もなく、そんなに贅沢な暮らしではなかったけど、安心して生きてこれた。 確か …

2018年 始まりと終わりを決めよう。

終わりを決めましょう! 皆様、お久しぶりです。 2018年1回目の記事です。 いきなり「終わり」という言葉が出た理由は、 最後の方でわかります。 では始めます。 1月といえばお正月ですね。 何かを始め …

no image

箱根駅伝の裏方を撮影

第90回箱根駅伝は東洋大学が圧倒的な力を見せつけて優勝しました。 私もはじめて見に行ったので写真を撮りました。 素晴らしいデッドヒート! これ以外ランナーがまともに撮れていません\(^o^)/ ぶれて …

データ分析コンサルティング企業で学んだプロジェクトマネージャーの方法論(2)

昨今注目されているデータ分析。 データサイエンティストはすげー給与良いやんと言われ、なんだかなあと思っているれいです。意外とそんなことはない。 データ分析企業では今日も何もなくプロジェクトを進めていま …

環境要因から想定する科学の発展

仮説1:人は「考えている」のではなく、環境要因によって「考えさせられて」いる。 仮説2:「考える総量」と感情・感覚の量は正比例する。 仮説3:その分野(例:食欲、金銭欲等)が満たされている場合、感情・ …