-
- いいね！8
Ken
@kenmetrics
ちょうどアメリカ統計学会がp値について歴史的な声明を出したところですが、この要点を端的にいえば、「p値は証拠・効果の大きさを満足に表現できない」ということだと思います。amstat.tandfonline.com/doi/abs/10.108… （先の再現性投稿の続きですが話の流れを折りそうなのでこちらで）
2016-03-08 12:26:12
TJO
@TJO_datasci
いい感じにcontroversialなASAの「p値とか有意性とか拘り過ぎるな」声明。正直、ビジネス実務の現場でもp-value hackするのは不毛だと思っていたので良い話だけど、一方で何かしらの代替指標が必ず求められる展開かと amstat.org/newsroom/press…
2016-03-08 12:58:56
Tetsuo Ishikawa
@fronori
統計の誤解や濫用、再現性問題を憂慮しp値の６原則を発表したASAのプレスリリース amstat.org/newsroom/press… 原著：Wasserstein＆Lazar（2016） amstat.tandfonline.com/doi/abs/10.108… pic.twitter.com/kIylcvg87t
2016-03-08 13:07:27
拡大
渡邊芳之
@ynabe39
仮説の採択，棄却の基準として事前に.05とか0.1の値を置くのではなく統計ソフトが弾き出すp値をそのまま書くような流儀はp値（の小ささ）がなにか効果量の大きさを示すような解釈になるからおかしいんじゃないかということは前にも何度か言った。
2016-03-08 13:16:46
Tetsuo Ishikawa
@fronori
ASA（米統計学会）のp値に関する声明へのNature Newsの記事 nature.com/news/statistic… 177年のASAの歴史を通して、統計の使用法について学会が明示的に推奨を提示するのは初。原著の方では実践やポリシーに口出ししたことはなかったわけでないとあるが。
2016-03-08 13:18:26
Tetsuo Ishikawa
@fronori
この元論文オンラインで読める。（まだ組版前） amstat.tandfonline.com/doi/pdf/10.108… 書き出しのGeorge Cobbの問いかけが面白い。なぜ大学や大学院でまだp=.05を教えてるの？科学界や雑誌編集者が使うから。なぜまだ多くがp=0.05を使ってるの？そう教わったから。
2016-03-08 13:29:35
渡邊芳之
@ynabe39
もともとp<.05で有意というのに「エビデンス」はないし，それは「社会的合意」なので「みんながそうやってるからそうしている」というのは正しい答えなのだ。分野や領域によってうちはp<.01だ，とか理論的な背景からうちらはp<.10でも有意だ，で何もかまわないものだ。
2016-03-08 13:47:28
渡邊芳之
@ynabe39
統計的検定をやめよう，というのは1990年頃からずっと俺たちが言ってきたことだからそれはそれでいいのだけれど，統計的検定に適した仮説やモデルとデータにおいて統計的検定を用いるのは今後も有効だと思う。ただそういう場面が心理学にどれだけあるかという話。
2016-03-08 13:49:30
Tetsuo Ishikawa
@fronori
問題はたぶん統計ではない。重要なことを言うには統計を使わないと納得しない人が多いし科学たるためには再現性（or 反証性）が必要で統計を使わざるを得ない。p値は帰無仮説が正しいと仮定したときの確率、何それ？直観に反する。統計自体は魅力的でも人間の認識と相容れにくいのが厄介なのでは？
2016-03-08 13:58:35
Tetsuo Ishikawa
@fronori
評価関数の多様性をもっと認めるとか、評価自体を保留するとか、そもそもその方向性から脱却してacceptance without judgeとか、簡単そうで難しいからわざわざスローガンにでもしないと忘れるような心の構え。無責任にではなく何かを表現する際の確かな手応えの在り処と精度。
2016-03-08 15:08:40
Tetsuo Ishikawa
@fronori
ASAが提起したp値にまつわる6原則に関して、その心を著者に訊く好企画！ retractionwatch.com/2016/03/07/wer… "" "post p < 0.05 era"に込められた意図ついても語られる。Retraction Watchがインタビューを実施して掲載してるのが興味深い。
2016-03-08 18:52:14
TJO
@TJO_datasci
タイトル長過ぎて引用しにくい / 「p値や有意性に拘り過ぎるな、p < 0.05かどうかが全てを決める時代はもう終わらせよう」というアメリカ統計学会の声明に対する某データサイエンティストのブログの声明に対する素人()の声明 d.hatena.ne.jp/MikuHatsune/20…
2016-03-09 00:40:37
Ken
@kenmetrics
p値が悪いとか無意味だとかいう訳ではないです。統計分析結果を解釈する際に、p値が本来の意味を大幅に超えた役割を持つようになってしまった。この弊害が、再現性検証の過程などで実証的に明らかになってきた。そこで、p値の本来の意味を再確認し、それを超えた濫用は控えましょう、という事です。
2016-03-09 06:09:22
Ken
@kenmetrics
じゃあp値に代わる方法は？声明では4つ挙げています：「推定（信頼・信用・予測区間）」「ベイズ法」「尤度比/ベイズファクター」「意思決定理論やFDR」。立場や前提は異なりますが、この要点は、効果の大きさや仮説の適切さを、より直接評価する方法へシフトしていこう、という事だと思います。
2016-03-09 06:13:45
⅃ЯAƎ⊿せかんどらいふすたあと
@DrMagicianEARL
p値や有意性にこだわらない時代へ 米国統計学会の声明 amstat.tandfonline.com/doi/abs/10.108… p<0.05時代を終わらせるための提言。まあp<0.05で有意とするのは単なる慣例だからねー。
2016-03-09 10:10:23