書籍"瀕死の統計学を救え!: 有意性検定から「仮説が正しい確率」へ "に関しての議論

黒木玄 Gen Kuroki @genkuroki

#統計 ツイッターで検索すると、豊田『瀕死本』を書店の担当者が「売れ線の学術書」扱いする気が満々な感じがする。 個人的に『瀕死本』の類の言説に若い人達が触れて「これはまともな考え方の一つである」と考えるようになって、さらに次の世代に教え出すということになることを恐れています。

黒木玄 Gen Kuroki @genkuroki

#統計 豊田秀樹さんは放送大学でも講義をしているので、次の若い世代への悪影響を気にするべきだと思いました。 豊田『瀕死本』によって、「研究仮説が正しい確率」的発想による「ベイズ統計もどき」の宣伝が瀕死の状態になれば好ましいと思います。 献本された人達の責任の取り方を注視したい。

Ryo @pys_ryo2019

「瀕死本」87pでは「PHCカーブ」なるものが導入されている。これは横軸に基準点、縦軸に「仮説が正しい確率」をとった曲線なわけだが、それって事後分布の累積密度のことでは・・・。事後分布の見方を変えたら、「仮説が正しい確率」の曲線になるらしい。 pic.twitter.com/5phoB87yRZ

拡大

Ryo @pys_ryo2019

「瀕死本」137pのQ & Aでは「p値とPHC、あるいは信頼区間と確信区間が一致することは稀である(一致するとしたらそれは一様事前分布や正規分布モデルのときなど)」「一致するような場合でも、PHCや確信区間の方が解釈がしやすいのでそちらを用いるべき」と明言されている。なんということだ。

Ryo @pys_ryo2019

「瀕死本」130pでは、「仮説が正しい確率(PHC)」に基づけば、推奨されるHARKingが存在すると述べられている。豊田先生のベイズの世界では、データを見た後に仮説を変えて報告するのは良いらしい。理由は事後分布は「後から思いついた」仮説であるかどうかに限らず不変であるかららしい。

Ryo @pys_ryo2019

「瀕死本」では、PHCを使えばnを逐次足しても都合のいい結果を生み出さないと述べられている。根拠はどうやら、事後分布はデータの順序によらないから、ということらしいが、データが揺らぐ以上データを足すたびに事後分布を計算すればそれも揺らぐという当たり前の事実については述べられていない twitter.com/genkuroki/stat…

黒木玄 Gen Kuroki @genkuroki

#統計 関連問題: 以下のようにしてよいか？ ① サイズmのサンプルから事後分布を計算したが、欲しい結果は得られなかった。 ②そこでサンプルサイズをm+nに増やした。 ③サイズm+nのサンプルから事後分布を計算したら、自分が欲しい結果の1つが得られたとみなせる状態になったので論文にした。 twitter.com/pys_ryo2019/st…

2020-03-18 17:56:42

Ryo @pys_ryo2019

PHCがn増しハッキングに強いという根拠は意味不明なんだが、さらに驚くべきことに、「PHCはn増しに強いため、nの設計のための事前登録は必要ない」とまで述べられている (「瀕死本」131p)。

Ryo @pys_ryo2019

「瀕死本」すごい世界観であった。早稲田の学生はこの世界観を学んで研究の道に進むのか。将来心理学の雑誌では「PHCを算出せよ」とか査読で言われるようになったら、たまったもんじゃねーな。

統計たん @stattan

瀕死本、読んだ人が卒倒して瀕死になる魔本なのでは？

kosGITti.47.0 @kosugitti

瀕死本を読み終わりました。いくつか引っかかる点がありましたが，トータルとしてポジティブな評価です。いわゆる「そんな確率計算できるわけがない」というような反論は，この本の背景を踏まえていないのではないかな。いわゆる「語弊がある」が，弊害の部分を過大視して攻撃しても生産的ではない。

kosGITti.47.0 @kosugitti

瀕死本のミソは生成量をつかって実際的・実践的な指標を検証の対象にしましょうということだろう。それについては大賛成である。実感の湧かない「標準化された差」よりも閾上率のような数字の方が，伝わる数字になるだろう。

Ryo @pys_ryo2019

これまで瀕死本のベイズ統計の構成を批判している人は「語弊がある」ではなくて、「誤っている」あるいは控えめに言っても「議論の仕方に問題がある」という指摘だと思うのですが・・・。言葉の問題に帰着させようとするのは、あまり筋のいい擁護ではないですように感じます。 twitter.com/kosugitti/stat…