Rの考え方

Rの個人研究・考察を行うブログ。最近は因果推論にお熱。

ブログ

効果検証はだいたい間違っている

投稿日:

データ分析を仕事にして1年半、世の分析という言葉に違和感を覚えてきた。

その一つが効果検証である。

ひとつ言っておく、効果検証は簡単ではない
なんとなく正しそうな効果検証はだいたい間違っている。

詳細は下記のような専門書(それでも入門)に譲るが・・・、正しい意思決定は正しい前提に基づくことを忘れないでほしい。

まず考えることとしては、(1)比較対象が正しいのかだ。

続いて、(2)正しいと思っていたことは実証されたのか

最後に、(3)結論ありきで分析していないかと考えていこう。

1. 比較対象が正しいのか

たとえば、Webマーケティングを題材にする。
ダイレクトメールを送った場合に、売り上げは上がるのか?という問題があるとする。

実はこの問題、ダイレクトメールを送った場合に、(あるユーザーの)売り上げは上がるのか?と言い換えられる。
特定のユーザーの、ダイレクトメール送った場合、送らなかった場合を考える必要がある。
実際はどちらかしか観測できないのだが・・・。

さてどうするか?考えてみてほしい。

答えは、似たようなユーザーを対比することで解決する。
ユーザーAに似たユーザーBを用意し、ダイレクトメールを送る or 送らない場合という比較を行うわけである。

2. 正しいと思っていたことは実証されたのか

これは、前提としていた考え方が実験上正しかったのか、データで判断する必要があるということだ。

上記にある、

ユーザーAに似たユーザーBを用意し、ダイレクトメールを送る or 送らない場合という比較を行うわけである。

を実際に似ていたのか?を検証する。

Webマーケティングでよく使われるA/Bテストでよくありがちなことは、ランダムに割り付けたらOKと思考停止していることだ。
本当にAとBは似たような人たちだったのだろうか?

全く別の人たちのデータを取ってきていないか?ということだ。

3. 結論ありきで分析していないか

ダイレクトメールを送った場合に、売り上げは上がるのか?という問題は、よく隠れた前提・結論がある。

過去からしてきた分析通りに、売り上げが上がっている(はず)という結論である。

過去のそれぞれの分析は正しいのか?

やりたいことの後付けのために分析していないか?

もし結論から外れた場合、社内でどう扱われるのか?そうすると結論はどう変化し得るのか?

・・・のように、実は分析が間違うのは、このようなビジネスの意思決定上の問題であったりする。
社内での当たり前は本当に当たり前なのか、それに立ち向かって結果を変えられるのか、だいたい間違っている原因はここにある。

-ブログ

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

健康には運動が必要(当たり前)

転職活動を開始してから何日が過ぎたでしょうか。Rです。 29歳を迎え、頭を使わない作業が根底にある職種(?)に嫌気が差しました。 注釈:日本企業独特のメンバーシップ制なので職種が曖昧&年功序列(下に押 …

ハリボテは誰でも描ける。そうなっていないか自省しよう。

コンサルティング業界でよく言われる、ハリボテな人・モノ・文。 今回気になった文として、下記を紹介します。 それっぽい話にはできているんですが、具体的に何をするのか理解できる人がいるのでしょうか? 少な …

no image

2015年 栃木県豪雨

栃木県(北関東)豪雨がありました。 今年から栃木県鹿沼市に住んでおり、その被害を多く受けた地域でした。 何の言葉よりも、写真が一番よく分ると思うのでどうぞ。 (鹿沼市を流れる黒川で撮ってきました) 川 …

コロナの今、孤独との付き合い方

コロナ禍でリモートワークが続き、めったに誰かと会うことができない状況が続いています。 私は独身であり、かつ一人暮らしでもあるので、孤独だなと思うことが多々あります。 *実家暮らしであっても、会う人がい …

no image

指示待ち人間の作り方

「指示待ち人間ばかりで困る」と思いませんか? さて、それをどう解決するのか。 まずは、考えを変えてみましょう。 「自分の頭で考える人間を作る」というと難しそうに聞こえます。実際難しいと思います。 「指 …

筆者情報

ご連絡はこちらまで
Twitter(R@おいす)→Game
m.saito→Programming

My Games:
名将と呼ばれた者達(Meisyo)

MyBlogs:
RのWeb制作
ゲーム開発や統計・機械学習等IT系
Rのミニ四駆
Rの科学情報収集

気に入ったらクリックしてね!