-
- いいね！1
阿部2
@cocotan_2
僕の中でデータサイエンティストって有意水準を〇〇とする、ということを述べずにいきなり「有意」「有意じゃない」と宣言する人というイメージがある http://t.co/ThiBxUVXOy http://t.co/y2CTjpYpqs
2013-09-21 23:22:05
阿部2
@cocotan_2
そもそもウェブ系の施策ってやってみてやりながら評価しなきゃいけないわけだからって薬の試験みたいにちゃんとした実験じゃないし、まだあんま差がでてないな〜データ貯まるまで待つか〜ってやったらその時点で有意水準がインフレーションしてますよね？（俺の言ってることが変なら教えてください）
2013-09-21 23:29:42
阿部2
@cocotan_2
お客さん：「成果が1件下がってませんか？」（それを気にするのは理解できる） ←コンサル：「いえ母数じゃなくてレートを見て下さい」（母数って言葉の使い方がちげーよ） ←データサイエンティスト：「いや、ちゃんと検定しましょう」（んー？） ←大学教授：「統計が注目されてますなホッホー」
2013-09-21 23:59:53
TJO
@TJO_datasci
統計学のことを殆ど知らない普通の人に有意水準の厳密な説明から始めると面倒なことになる世の中でしてな。。。 https://t.co/B5FCWI6KJG
2013-09-22 14:27:10
TJO
@TJO_datasci
ビジネスの現場で統計学や機械学習と言ったデータサイエンスを使うというのは往々にしてこういう「何も分かってない素人を相手にしなければならない」現実と悪戦苦闘するということなんだけど、その実態を理解せずに好き放題論じる人が多いなぁと言うのが個人的な印象です。
2013-09-22 15:11:47
阿部2
@cocotan_2
@TJO_datasci そもそもこの記事はそれを説明するために書かれたのではないのですか？ それはまあいいとして信頼区間は95%信頼区間って書いているのだから有意水準も5%有意とか書けばすむだけでは？
2013-09-22 20:47:21
TJO
@TJO_datasci
@abiko_ushi 有意水準の説明をする記事ではないつもりだったので、そこが抜けていたというのは認めます。ただ、実際にはそれを現場で詳細に説明することは多分ないです。「統計学というのはそういうものだ」みたいな説明に終始することになるでしょう。
2013-09-22 21:33:25
阿部2
@cocotan_2
@TJO_datasci リプライありがとうございます。有意水準の説明が大変だというのは承知しました。ですが5%有意と書くのはなぜだめなのですか？ 現場では p-値 = 0.5 有意差なしと言われたらみんな納得するのですか？ 「え？ じゃあいくつならありなの？」と聞かれませんか？
2013-09-22 21:42:39
TJO
@TJO_datasci
@abiko_ushi 今の現場では有意水準5%と言えばそれで納得してもらえますが、前の現場ではあまり前面に押し出すと「何が5%なの？？？」という押し問答になって収拾がつかなくなるので、レポートには小さく「統計学的に一般的な判定基準」と書いてやり過ごすようにしてました。
2013-09-22 21:46:25
TJO
@TJO_datasci
@abiko_ushi もちろん5%だからOKとかそういうことはないし、例えば異なるデータに対して色々検定をするなら全体で同じ水準に揃えなければならないというような常識は当然知っていますが、それだけではビジネスの現場だと回し切れないという面倒な現実もありますね。。。
2013-09-22 21:49:38
阿部2
@cocotan_2
@TJO_datasci なるほどです。誠にありがとうございます。よろしければこちらについてもご教示いただけませんか。https://t.co/hqRj9KlCbi ある程度証拠がたまるまで待ったら有意水準がインフレしませんか？ 僕は知識がないので本当にわからないんです。
2013-09-22 21:53:35
TJO
@TJO_datasci
@abiko_ushi 何となく言わんとすることは分かりますが、「有意水準のインフレ」について具体的な例を挙げて頂いても良いですか？
2013-09-22 22:15:38
阿部2
@cocotan_2
@TJO_datasci 2回のテストが独立だとして有意水準5%の検定を2回やったら（1-（0.95の2乗））で約10%になりますよね。有意になりそうになるまで待つのがありだったらいくらでもこの数字が上がりませんか？
2013-09-22 22:20:58
TJO
@TJO_datasci
@abiko_ushi 僕は0.05*2 = 0.10という多重比較の問題かなと思ってました。ちなみにそれならば、仰る通りサンプルサイズを増やしていけば勝手にうまく行ってしまうので問題です。なので、本当はきちんと（一般化）線形モデルなどで予測値を立てて評価すべきなのですが。。。
2013-09-22 22:29:34
TJO
@TJO_datasci
@abiko_ushi この手の分析はほんの数日データを集めて検証したらすぐ次へ、という性質のものが多いので、多重比較の問題に発展する前に片が付いてしまいがち。つまり、平たく言うとこの分析ってそれほど厳密にやる必要がなかったりするんです。そのことを最大の問題とみるべきかと。
2013-09-22 22:32:22
TJO
@TJO_datasci
@abiko_ushi あんな記事を書いといて何ですが、「仮説検定」ではなくやっぱり「統計モデリング」が今後は必要になるということなんでしょうね。即ち、一瞬一瞬のスナップショットに対して検定をかけて一喜一憂するのではなく、きちんと長期的にみて全体をモデリングすべきということかと。
2013-09-22 23:12:43
uncorrelated
@uncorrelated
習慣的には計量モデルの選択も仮説検定で行う事が多いですね。RT @TJO_datasci: 「仮説検定」ではなくやっぱり「統計モデリング」が今後は必要になるということなんでしょうね。
2013-09-22 23:54:52
uncorrelated
@uncorrelated
概念図を描いて説明すればいいかと。RT @TJO_datasci: 前の現場ではあまり前面に押し出すと「何が5%なの？？？」という押し問答になって収拾がつかなくなる http://t.co/s2Du86Z9CM
2013-09-22 23:59:06
拡大
TJO
@TJO_datasci
@uncorrelated 今の現場なら多分これでいけます。以前の現場だとどこもこれではダメな気が。。。（これに近い図を見せたことはあります）
2013-09-23 00:15:56
umedam
@umedam
@uncorrelated @TJO_datasci 自分より賢い＆詳しいひとたちが使っているのにアレですが，仮説検定使っての計量モデルの「選択」というのはいまだに違和感がありますね。帰無仮説が棄却されない，という状況をどう判断の基準にするかという点だと思うのですが。
2013-09-23 00:16:15
uncorrelated
@uncorrelated
@umedam @TJO_datasci 判断基準を他人に預けると言う意味でレフリーを説得うわなにっをするｆｈｓけふじこ
2013-09-23 00:18:34