編集可能

アメリカ統計学会 p値の見直し勧告 への感想

まとめました。
13
Ken @kenmetrics

ちょうどアメリカ統計学会がp値について歴史的な声明を出したところですが、この要点を端的にいえば、「p値は証拠・効果の大きさを満足に表現できない」ということだと思います。amstat.tandfonline.com/doi/abs/10.108… (先の再現性投稿の続きですが話の流れを折りそうなのでこちらで)

2016-03-08 12:26:12
リンク amstat.tandfonline.com An Error Occurred Setting Your User Cookie
TJO @TJO_datasci

いい感じにcontroversialなASAの「p値とか有意性とか拘り過ぎるな」声明。正直、ビジネス実務の現場でもp-value hackするのは不毛だと思っていたので良い話だけど、一方で何かしらの代替指標が必ず求められる展開かと amstat.org/newsroom/press…

2016-03-08 12:58:56
Tetsuo Ishikawa @fronori

統計の誤解や濫用、再現性問題を憂慮しp値の6原則を発表したASAのプレスリリース amstat.org/newsroom/press… 原著:Wasserstein&Lazar(2016) amstat.tandfonline.com/doi/abs/10.108… pic.twitter.com/kIylcvg87t

2016-03-08 13:07:27
拡大
渡邊芳之 @ynabe39

これはまさに「当たり前」で,もともと危険率は「p=.05とp=.01では後者のほうが差が大きい」というようなものではないのである。

2016-03-08 13:14:36
渡邊芳之 @ynabe39

仮説の採択,棄却の基準として事前に.05とか0.1の値を置くのではなく統計ソフトが弾き出すp値をそのまま書くような流儀はp値(の小ささ)がなにか効果量の大きさを示すような解釈になるからおかしいんじゃないかということは前にも何度か言った。

2016-03-08 13:16:46
Tetsuo Ishikawa @fronori

ASA(米統計学会)のp値に関する声明へのNature Newsの記事 nature.com/news/statistic… 177年のASAの歴史を通して、統計の使用法について学会が明示的に推奨を提示するのは初。原著の方では実践やポリシーに口出ししたことはなかったわけでないとあるが。

2016-03-08 13:18:26
リンク Nature News & Comment Statisticians issue warning over misuse of <i>P</i> values Policy statement aims to halt missteps in the quest for certainty.
Tetsuo Ishikawa @fronori

この元論文オンラインで読める。(まだ組版前) amstat.tandfonline.com/doi/pdf/10.108… 書き出しのGeorge Cobbの問いかけが面白い。なぜ大学や大学院でまだp=.05を教えてるの?科学界や雑誌編集者が使うから。なぜまだ多くがp=0.05を使ってるの?そう教わったから。

2016-03-08 13:29:35
渡邊芳之 @ynabe39

もともとp<.05で有意というのに「エビデンス」はないし,それは「社会的合意」なので「みんながそうやってるからそうしている」というのは正しい答えなのだ。分野や領域によってうちはp<.01だ,とか理論的な背景からうちらはp<.10でも有意だ,で何もかまわないものだ。

2016-03-08 13:47:28
渡邊芳之 @ynabe39

もともとp値というのはそういうものだ,というのを忘れちゃったからおかしなことになった。

2016-03-08 13:47:44
渡邊芳之 @ynabe39

統計的検定をやめよう,というのは1990年頃からずっと俺たちが言ってきたことだからそれはそれでいいのだけれど,統計的検定に適した仮説やモデルとデータにおいて統計的検定を用いるのは今後も有効だと思う。ただそういう場面が心理学にどれだけあるかという話。

2016-03-08 13:49:30
渡邊芳之 @ynabe39

まあ検定批判の話もいわば「アンチ」なのだけれども,これは「何のアンチ」なのか比較的わかりやすい。

2016-03-08 13:51:20
Tetsuo Ishikawa @fronori

問題はたぶん統計ではない。重要なことを言うには統計を使わないと納得しない人が多いし科学たるためには再現性(or 反証性)が必要で統計を使わざるを得ない。p値は帰無仮説が正しいと仮定したときの確率、何それ?直観に反する。統計自体は魅力的でも人間の認識と相容れにくいのが厄介なのでは?

2016-03-08 13:58:35
Tetsuo Ishikawa @fronori

評価関数の多様性をもっと認めるとか、評価自体を保留するとか、そもそもその方向性から脱却してacceptance without judgeとか、簡単そうで難しいからわざわざスローガンにでもしないと忘れるような心の構え。無責任にではなく何かを表現する際の確かな手応えの在り処と精度。

2016-03-08 15:08:40
渡邊芳之 @ynabe39

@omiyas 「p値そのものを示せ」というのも記述統計的といえばそう。

2016-03-08 15:16:40
Tetsuo Ishikawa @fronori

ASAが提起したp値にまつわる6原則に関して、その心を著者に訊く好企画! retractionwatch.com/2016/03/07/wer… "" "post p < 0.05 era"に込められた意図ついても語られる。Retraction Watchがインタビューを実施して掲載してるのが興味深い。

2016-03-08 18:52:14
リンク Retraction Watch We’re using a common statistical test all wrong. Statisticians want to fix that. - Retraction Watch After reading too many papers that either are not reproducible or contain statistical errors (or both), the American Statistical Association (ASA) has been roused to action. Today the group released six principles for the use and interpretation of p value
TJO @TJO_datasci

タイトル長過ぎて引用しにくい / 「p値や有意性に拘り過ぎるな、p < 0.05かどうかが全てを決める時代はもう終わらせよう」というアメリカ統計学会の声明に対する某データサイエンティストのブログの声明に対する素人()の声明 d.hatena.ne.jp/MikuHatsune/20…

2016-03-09 00:40:37
Ken @kenmetrics

p値が悪いとか無意味だとかいう訳ではないです。統計分析結果を解釈する際に、p値が本来の意味を大幅に超えた役割を持つようになってしまった。この弊害が、再現性検証の過程などで実証的に明らかになってきた。そこで、p値の本来の意味を再確認し、それを超えた濫用は控えましょう、という事です。

2016-03-09 06:09:22
Ken @kenmetrics

じゃあp値に代わる方法は?声明では4つ挙げています:「推定(信頼・信用・予測区間)」「ベイズ法」「尤度比/ベイズファクター」「意思決定理論やFDR」。立場や前提は異なりますが、この要点は、効果の大きさや仮説の適切さを、より直接評価する方法へシフトしていこう、という事だと思います。

2016-03-09 06:13:45
渡邊芳之 @ynabe39

「正確なp値を示せ」の件ではジャーナルがまさに「p値の拡大解釈を助長した」と言えると思う。

2016-03-09 06:58:14
⅃ЯAƎ⊿ @DrMagicianEARL

p値や有意性にこだわらない時代へ 米国統計学会の声明 amstat.tandfonline.com/doi/abs/10.108… p<0.05時代を終わらせるための提言。まあp<0.05で有意とするのは単なる慣例だからねー。

2016-03-09 10:10:23
残りを読む(20)

コメント

Ishida Brain Dam'd @tbs_i 2016年3月11日
統計家がいくらがんばっても、これから量産されるであろう「でーたさいえんちすと」によってこれらp値の誤解はより一層広まるだろう。「p<.05なんで95%正しいですよー」とか。とは言えそんな「でーたさいえんちすと」よりはるかに統計学を知らないクライアントに、p値の正しい意味を説明できる気は全くしないので、俺もその立場になったら「95%正しいんですよー」って言うと思う。
1
Ishida Brain Dam'd @tbs_i 2016年3月11日
統計パッケージがp値を出力しないようにするだけで8割程度は解決するのではないか。
0