まとめの限定公開に「リンク限定」が追加されました。URLを伝えてまとめを共有しよう!

むなしい

最後のやりとりは僕的には本筋に関係ない。 uncorrelatedさんの言う「モデルの選択」と僕のイメージする「モデルの選択」がちょっと違っただけ。
ログ
2053view 2コメント
1
あびこ(牛) @abiko_ushi
僕の中でデータサイエンティストって有意水準を〇〇とする、ということを述べずにいきなり「有意」「有意じゃない」と宣言する人というイメージがある http://t.co/ThiBxUVXOy http://t.co/y2CTjpYpqs
あびこ(牛) @abiko_ushi
そもそもウェブ系の施策ってやってみてやりながら評価しなきゃいけないわけだからって薬の試験みたいにちゃんとした実験じゃないし、まだあんま差がでてないな〜データ貯まるまで待つか〜ってやったらその時点で有意水準がインフレーションしてますよね?(俺の言ってることが変なら教えてください)
あびこ(牛) @abiko_ushi
お客さん:「成果が1件下がってませんか?」(それを気にするのは理解できる) ←コンサル:「いえ母数じゃなくてレートを見て下さい」(母数って言葉の使い方がちげーよ) ←データサイエンティスト:「いや、ちゃんと検定しましょう」(んー?) ←大学教授:「統計が注目されてますなホッホー」
TJO @TJO_datasci
統計学のことを殆ど知らない普通の人に有意水準の厳密な説明から始めると面倒なことになる世の中でしてな。。。 https://t.co/B5FCWI6KJG
TJO @TJO_datasci
ビジネスの現場で統計学や機械学習と言ったデータサイエンスを使うというのは往々にしてこういう「何も分かってない素人を相手にしなければならない」現実と悪戦苦闘するということなんだけど、その実態を理解せずに好き放題論じる人が多いなぁと言うのが個人的な印象です。
あびこ(牛) @abiko_ushi
@TJO_datasci そもそもこの記事はそれを説明するために書かれたのではないのですか? それはまあいいとして信頼区間は95%信頼区間って書いているのだから有意水準も5%有意とか書けばすむだけでは?
TJO @TJO_datasci
@abiko_ushi 有意水準の説明をする記事ではないつもりだったので、そこが抜けていたというのは認めます。ただ、実際にはそれを現場で詳細に説明することは多分ないです。「統計学というのはそういうものだ」みたいな説明に終始することになるでしょう。
あびこ(牛) @abiko_ushi
@TJO_datasci リプライありがとうございます。有意水準の説明が大変だというのは承知しました。ですが5%有意と書くのはなぜだめなのですか? 現場では p-値 = 0.5 有意差なしと言われたらみんな納得するのですか? 「え? じゃあいくつならありなの?」と聞かれませんか?
TJO @TJO_datasci
@abiko_ushi 今の現場では有意水準5%と言えばそれで納得してもらえますが、前の現場ではあまり前面に押し出すと「何が5%なの???」という押し問答になって収拾がつかなくなるので、レポートには小さく「統計学的に一般的な判定基準」と書いてやり過ごすようにしてました。
TJO @TJO_datasci
@abiko_ushi もちろん5%だからOKとかそういうことはないし、例えば異なるデータに対して色々検定をするなら全体で同じ水準に揃えなければならないというような常識は当然知っていますが、それだけではビジネスの現場だと回し切れないという面倒な現実もありますね。。。
TJO @TJO_datasci
これが多重比較補正をかけて有意水準を一定に揃えるとかなると、もう訳の分からない領域に突入するわけです。
あびこ(牛) @abiko_ushi
@TJO_datasci なるほどです。誠にありがとうございます。よろしければこちらについてもご教示いただけませんか。https://t.co/hqRj9KlCbi ある程度証拠がたまるまで待ったら有意水準がインフレしませんか? 僕は知識がないので本当にわからないんです。
TJO @TJO_datasci
@abiko_ushi 何となく言わんとすることは分かりますが、「有意水準のインフレ」について具体的な例を挙げて頂いても良いですか?
あびこ(牛) @abiko_ushi
@TJO_datasci 2回のテストが独立だとして有意水準5%の検定を2回やったら(1-(0.95の2乗))で約10%になりますよね。有意になりそうになるまで待つのがありだったらいくらでもこの数字が上がりませんか?
TJO @TJO_datasci
@abiko_ushi 僕は0.05*2 = 0.10という多重比較の問題かなと思ってました。ちなみにそれならば、仰る通りサンプルサイズを増やしていけば勝手にうまく行ってしまうので問題です。なので、本当はきちんと(一般化)線形モデルなどで予測値を立てて評価すべきなのですが。。。
TJO @TJO_datasci
@abiko_ushi この手の分析はほんの数日データを集めて検証したらすぐ次へ、という性質のものが多いので、多重比較の問題に発展する前に片が付いてしまいがち。つまり、平たく言うとこの分析ってそれほど厳密にやる必要がなかったりするんです。そのことを最大の問題とみるべきかと。
あびこ(牛) @abiko_ushi
@TJO_datasci なるほどです。たびたびありがとうございます。そうなってくると仮説検定をやる意味ってなんなのですか?
TJO @TJO_datasci
@abiko_ushi あんな記事を書いといて何ですが、「仮説検定」ではなくやっぱり「統計モデリング」が今後は必要になるということなんでしょうね。即ち、一瞬一瞬のスナップショットに対して検定をかけて一喜一憂するのではなく、きちんと長期的にみて全体をモデリングすべきということかと。
あびこ(牛) @abiko_ushi
@TJO_datasci なるほどです。わかりました。お付き合い頂きありがとうございました。
uncorrelated @uncorrelated
習慣的には計量モデルの選択も仮説検定で行う事が多いですね。RT @TJO_datasci: 「仮説検定」ではなくやっぱり「統計モデリング」が今後は必要になるということなんでしょうね。
uncorrelated @uncorrelated
概念図を描いて説明すればいいかと。RT @TJO_datasci: 前の現場ではあまり前面に押し出すと「何が5%なの???」という押し問答になって収拾がつかなくなる http://t.co/s2Du86Z9CM
 拡大
TJO @TJO_datasci
@uncorrelated 「選択」にはやっぱり検定ってことですかね。。。
TJO @TJO_datasci
@uncorrelated 今の現場なら多分これでいけます。以前の現場だとどこもこれではダメな気が。。。(これに近い図を見せたことはあります)
umedam @umedam
@uncorrelated @TJO_datasci 自分より賢い&詳しいひとたちが使っているのにアレですが,仮説検定使っての計量モデルの「選択」というのはいまだに違和感がありますね。帰無仮説が棄却されない,という状況をどう判断の基準にするかという点だと思うのですが。
uncorrelated @uncorrelated
@umedam @TJO_datasci 判断基準を他人に預けると言う意味でレフリーを説得うわなにっをするfhsけふじこ
残りを読む(5)

コメント

あびこ(牛) @abiko_ushi 2013年9月24日
僕はこれ「『統計学のことを何も分かってない素人』とクライアントを見下しつつ統計的には意味のないことをやって開きなおってる」と解釈したけど、まあ僕の見方はたぶんかなり偏狭なんだろーね
あびこ(牛) @abiko_ushi 2013年9月24日
あと、今後必要になるのはたぶんふつうに記述統計やることだと思う
ログインして広告を非表示にする
ログインして広告を非表示にする