-
- いいね！1
黒木玄 Gen Kuroki
@genkuroki
#統計 件の「瀕死本」はすでに書店に並んでいます。 私が恐れていることは、「瀕死本」の類が沢山売れて、通常の仮説検定や信頼区間について誤解し、「ベイズ統計なら仮説が正しい確率が分かる」というデタラメを信じる人達が増えることです。 知的被害者が加害者側に回るループができるのが怖い。 twitter.com/genkuroki/stat…
2020-03-14 01:54:15
黒木玄 Gen Kuroki
@genkuroki
#統計 なるほど、これはひどいな。 瀕死の統計学を救え!: 有意性検定から「仮説が正しい確率」へ 2020/3/24 豊田秀樹 タイトルだけであきれてしまう。 この豊田秀樹さんは ベイズ統計の基礎が分かっていないのに、ベイズ統計の本を沢山書いているので、本を買ってしまった人は要注意です。続く twitter.com/ykamit/status/…
2020-01-23 08:46:57
黒木玄 Gen Kuroki
@genkuroki
#統計 私による「瀕死本」的言説に対する批判は、ベイズ統計が持つ数学的性質をコンピュータを使った計算(ソースコードも公開)を示しながら解説している相当に具体的な内容になっています。 「瀕死本」的言説を全否定しながら、ベイズ統計の面白さを知ってもらえればうれしいです。
2020-03-14 02:11:47
黒木玄 Gen Kuroki
@genkuroki
#統計 「瀕死本」的な「ベイズ統計なら仮説が正しい確率が分かる」という言説の普及は、まさに無知で騙され易い人達の大量生産につながっています。 そういうことをやっちゃダメだと思います。 「瀕死本」の出版のタイミングで批判する人が増えるとよいと思います。
2020-03-14 02:25:02
黒木玄 Gen Kuroki
@genkuroki
#統計 「瀕死本」のプロローグ asakura.co.jp/books/isbn/978… → app.box.com/s/mju36d42ofg0… の問題点の解説↓ nbviewer.jupyter.org/gist/genkuroki… 添付画像のケースでは、「ベイズ統計では仮説が正しい確率が分かる」という主張は「P値を仮説が正しい確率だと解釈してよい」と実質的に同じ意味になります。 pic.twitter.com/WbTcKNrzAN
2020-03-14 04:08:13
拡大
拡大
拡大
黒木玄 Gen Kuroki
@genkuroki
#統計 豊田秀樹氏の『瀕死本』的な「ベイズ統計では仮説が正しい確率が分かる」という言説への批判を含むノートブックを更新した。公開されている『瀕死本』のプロローグから引用して批判的解説を加えておいた。 nbviewer.jupyter.org/gist/genkuroki… ベルヌーイ分布モデルにおける「頻度論」と「ベイズ」の比較 pic.twitter.com/ZQVb5kk4rD
2020-03-14 19:36:43
拡大
拡大
拡大
拡大
黒木玄 Gen Kuroki
@genkuroki
#統計 『瀕死本』p.86から引用 【p値と比較して phc (～)は, このような直観的な理解を与える指標です. しかも何回計算しても多重比較のような補正が必要ありません.】 ベイズ統計の事後確率なら多重比較の問題が起こらないと考えているようですが、「業界」ではそう信じられているのでしょうか？
2020-03-14 19:38:57
黒木玄 Gen Kuroki
@genkuroki
#統計 え？褒めても大丈夫な本なのですか？ 公開されている『瀕死本』 asakura.co.jp/books/isbn/978… のプロローグや jstage.jst.go.jp/article/sjpr/6… p 値を使って学術論文を書くのは止めよう 豊田秀樹 を見るだけでもトンデモないことが書いてある。 詳しくはこのツイートが繋がっているスレッドを参照。 twitter.com/mutopsy/status… pic.twitter.com/ln1JWR2Upw
2020-03-16 16:30:25
mutopsy // μ to ψ
@mutopsy
話題の書籍「瀕死の統計学を救え！」をご恵贈賜りました。有意性検定のよくある誤用について分かりやすくまとめられていてとても勉強になります。検定力分析やプレレジ（とその限界）に触れられているのもいいですね。 pic.twitter.com/BPYLKHoDWB
2020-03-16 13:52:18
拡大
黒木玄 Gen Kuroki
@genkuroki
#統計 『瀕死本』を沢山売ることは社会的には負の貢献になると思う。 豊田氏の意味での「仮説が正しい確率」の中には片側検定などのp値と近似的に一致することが分かっているものが多い。 豊田さんは「p値は仮説が正しい確率の近似値である」と言っているとみなされます。 twitter.com/rikoushonotana…
2020-03-16 18:51:21
書泉_MATH
@rikoushonotana
新刊発売中『瀕死の統計学を救え!』豊田秀樹 1,800円＋税(朝倉書店) 米国統計学会をはじめ科学界で有意性検定の放棄が謳われるいま，統計的結論はいかに語られるべきか？初学者歓迎の軽妙な議論を通じて有意性検定の考え方とp値の問題点を解説，「仮説が正しい確率」に基づく明快な結論の示し方を提示 pic.twitter.com/ZCTRUSuBOP
2020-03-14 17:02:33
黒木玄 Gen Kuroki
@genkuroki
#統計 『瀕死本』のp.86には「仮説が正しい確率」については 【何回計算しても多重比較のような補正が必要ありません】 と書いてあって、非常にまずいと思いました。 「仮説が正しい確率」が何らかの意味でp値と近似的に一致する場合があるのでそれは本当にまずい。 twitter.com/genkuroki/stat…
2020-03-16 18:54:50
Ryo
@pys_ryo2019
「瀕死本」の序盤を読んでみたが、そもそも正答率50%を帰無仮説にした二項検定と「超能力があれば70%以上は正答するという仮説の正しい確率」なるものを比較して二項検定をこき下ろすのはアンフェアでしょうとか思っていたら、@genkuroki さんがわかりやすいデモをあげていた twitter.com/genkuroki/stat…
2020-03-16 21:21:16
Ryo
@pys_ryo2019
ざっと読んだところ「瀕死本」の第一部で言いたいのは ・有意性検定でのみ科学的主張を行うのは色々まずい ・その結果、実質的な効果がないような論文が量産される ・n設計や事前登録にはしばしば困難さがつきまとう ということで、扇情的な表現が多いことに目を瞑れば言いたいこと自体はわかる
2020-03-16 22:12:14
黒木玄 Gen Kuroki
@genkuroki
#統計 豊田『瀕死本』 asakura.co.jp/books/isbn/978… の公開されているプロローグだけでアンフェア感いっぱいですよね。 帰無仮説50%の二項検定 vs. 「成功率は70%以上」という仮説が正しい確率 は実質的に 帰無仮説50%の二項検定 vs. 帰無仮説70%の二項検定 と同じ。 twitter.com/not_identified…
2020-03-17 02:27:52
黒木玄 Gen Kuroki
@genkuroki
#統計 豊田『瀕死本』p.85や豊田『止めよう論文』 jstage.jst.go.jp/article/sjpr/6… での「仮説が正しい確率」の定義は事後分布で計算した確率。『瀕死本』プロローグでのそれは片側二項検定のp値にほぼ一致することを証明できるので、豊田秀樹さんは「p値は仮説が正しい確率だ」と言っているも同然www
2020-03-17 02:27:56
黒木玄 Gen Kuroki
@genkuroki
#統計 続き。だから、豊田『瀕死本』プロローグでやっていることは、実質的に、「帰無仮説を50%としたら有意差が出たので、帰無仮説を70%にずらしましょう」と言っているのと同じwww 所謂「頻度論」で99.9%信頼区間を計算したら、その区間に70%以上が含まれないという話と本質的に同じです。
2020-03-17 02:32:36
黒木玄 Gen Kuroki
@genkuroki
#統計 以上では数値的に本質的じゃないので、片側検定と両側検定の違いを気にせずに説明している部分があるので要注意。 繰り返しになるが、豊田『瀕死本』p.87には「仮説が正しい確率」(=事後分布で測った確率)なら【何回計算しても多重比較のような補正が必要ありません】とあるのも重大な問題。
2020-03-17 02:37:39
黒木玄 Gen Kuroki
@genkuroki
#統計 続き。豊田さんには、ベイズ側でやっていることの所謂「頻度論」側での対応物を考えずに、アンフェアな比較をする傾向があります。 『瀕死本』プロローグでは、豊田的「70%以上であるという仮説が正しい確率」の所謂「頻度論」での対応物が「70%以上であるという仮説の片側検定のp値」～続く
2020-03-17 02:48:09
黒木玄 Gen Kuroki
@genkuroki
#統計 『瀕死本』の内容で同意できる部分は、豊田さんと無関係によく知られている事柄だと思います。 広く知られていることについてまで、豊田『瀕死本』に書いてあることを強調するのは、「フェアな議論」ではなく、「ミスリーディングな議論」だと思う。 豊田オリジナルの部分を否定すれば十分。 twitter.com/not_identified…
2020-03-17 03:01:34
黒木玄 Gen Kuroki
@genkuroki
#統計 続き。単に「便利な分析方法の1つ」という(例えば「ベイズ統計モデリング」の)立場でベイズ統計を推すのであれば、既存のソフトウェアを眺めれば「そりゃそうだ」と私も思う。 豊田『瀕死本』のスタイルはそれとは全然違う。「ベイズ統計モデリング」勢はきちんと批判するべきだと思います。
2020-03-17 03:14:48
Ryo
@pys_ryo2019
なるほど、それは確かにその通りで、私の挙げたものは、いずれも既に一般的に問題とされていることでした。｢瀕死本｣で特に丁寧に掘り下げられているという意図でもありません。 twitter.com/genkuroki/stat…
2020-03-17 07:22:26
Ryo
@pys_ryo2019
これは「瀕死本」80pで「ベイズの定理に基づく迷惑メールである確率」とベムの研究のp値を比較している一節であるが、ベイズの定理で求まる確率と検定で用いるp値を比較すること自体が比較としてフェアではない。ここでもアンフェアな比較によりベイズ統計の優位さを示そうとしているのは印象が悪い。 pic.twitter.com/e3Qh5L3ERn
2020-03-17 17:43:39
拡大
Ryo
@pys_ryo2019
これは「瀕死本」82pであるが、与えられたデータの尤度の値が意図によって変わらないことでもって「尤度に基づけばデータ取得のプロセスは無視して構わない」というのは暴論でしょう。 pic.twitter.com/618touUls0
2020-03-17 18:10:29
拡大
Ryo
@pys_ryo2019
「瀕死本」91pでは「仮説が正しい確率というのはあくまで尤度関数と事前分布という数理的前提の上で計算されるものなので、カギ括弧で補ったものである、と述べているが、「仮説が正しい確率」を最初に定義している85pにはそんなカギ括弧はないのである。それなら最初からそんな呼び方しなくていい。
2020-03-17 18:26:50
黒木玄 Gen Kuroki
@genkuroki
#統計 続き。その片側検定のP値は「成功確率はp₀以上である」という帰無仮説の検定に使われます。 これを知っていれば、豊田『瀕死本』のプロローグの文脈で「成功確率は7割以上である」という仮説を検定できます。豊田氏が「仮説が正しい確率」だと言っているものは近似的にその意味のP値に等しい。
2020-03-17 18:33:26
黒木玄 Gen Kuroki
@genkuroki
#統計 豊田『瀕死本』に適切な訂正を出すとすればこんな感じ： この本における「仮説が正しい確率」は頻度論における片側検定などのP値のよい近似値になっているので、P値に対する批判は「仮説が正しい確率」にもそのまま適用される。読者はその点に注意して読み直して欲しい (笑) twitter.com/not_identified…
2020-03-17 21:17:13
黒木玄 Gen Kuroki
@genkuroki
#統計 豊田『瀕死本』については以下のリンク先スレッドが必読。 ツイッターでの検索の感想→豊田『瀕死本』を献呈されて喜んでいる人がいるとしたら、研究者的に問題があると思う。特に献呈してもらったという理由であるべき厳しい批判を控えたとしたら問題あり。 twitter.com/not_identified…
2020-03-18 17:41:57