p値を使ってはならない
-
- いいね！0
OKUMURA, Akira（奥村 曉）
@AkiraOkumura
@kenmcalinn 興味で伺いたいのですが、例えば先ほどの円周率の場合だと、どのように講義されますか？母数は定数であり二項分布に従うというのも明らかな場合にです。
2022-02-04 12:18:52
Ken McAlinn
@kenmcalinn
@AkiraOkumura でもそれって「実務上このくらいの水準だったら問題ない」って話で、それと「そもそもp値は問題がある」は両立すると思うんですよね。もちろん実務上問題ない(分野だ)からちゃんと教えてほしいってのもわかります。
2022-02-04 12:49:14
Ken McAlinn
@kenmcalinn
@AkiraOkumura どのように授業を教えていいって言われたら二項分布のpの事後分布を求めてπの周辺尤度を求めますね。そしてその尤度とπ±誤差の尤度比を求めます。これなら追加でシミュレーションしたりしてもp値のような問題は起きないです。
2022-02-04 12:53:18
OKUMURA, Akira（奥村 曉）
@AkiraOkumura
@kenmcalinn ありがとうございます。この事例で考えられる「p 値のような問題」と仰るものは何があるでしょうか。
2022-02-04 13:08:53
Ken McAlinn
@kenmcalinn
@AkiraOkumura いわゆる停止規則問題ですね。サンプルを集めてp値を計算して、その上でまたサンプルを集めると有意水準がかわってしまいます。例えば最初のデータでp値が0.05で、有意じゃないからデータを集めたら0.04になったとしても有意水準が下がってるので有意でなかったりします。
2022-02-04 13:24:05
be
@behemuhemulove
ワシはp値は使わないほうがいいと思ってるので教えないですし、イギリスにいた時もp値や仮説検定を教えるから統計学が無駄に難しくなる、最初からベイズ教えてれば良いという先生は結構いました。そしてあらゆる分野でp値は変な使われ方をしていて、正しくみな使ってる分野はないと思います。 twitter.com/AkiraOkumura/s…
2022-02-04 13:38:30
OKUMURA, Akira（奥村 曉）
@AkiraOkumura
1 周回って「p 値は使ってはならない」みたいに教える人まで現れて困ってるんだよな。あなたたちの分野で変な使い方したからでしょ。
2022-02-04 08:50:07
はま
@hmkz_
実験結果に**マークがついているかどうかだけで採否を決める差読者が一定数いる以上、p値や仮説検定はみな論文執筆時に学ばざるをえないし、泥縄で学ぶとさらに誤用が蔓延するので、結局は授業で教えたほうがマシだと思ってます。 twitter.com/bentheDPeness/…
2022-02-05 09:12:45
Daijiro Tabaru｜田原 大二郎
@idoco_daijiro
なるほどー p値で判断するもの的な感じで教わった（ような気がする）から、それが当たり前に思ってたけど、ちゃんも勉強せないかんな。 ちなみにまだp値云々の問題はよく分かってないと思う😓 twitter.com/benthedpeness/…
2022-02-05 02:16:40
OKUMURA, Akira（奥村 曉）
@AkiraOkumura
@kenmcalinn 今の事例で「有意じゃないから」と乱数をさらに振る必要性が分かりません。有意な結果が出るまで乱数を振り続けてバグ出しをせよという指示ではありません。（それをやると正しい計算でも計算機の精度の問題に行き着きます）
2022-02-04 14:20:00
Ken McAlinn
@kenmcalinn
@AkiraOkumura でもある程度サンプリングして結果を見てからサンプルサイズを増やしたり辞めたりすることはできますよね？もちろん最初からサンプルサイズを決めてそれを破らなければ停止規則の問題はないです。ただベイズなら尤度原理に即してるのでそもそも停止規則の問題は起きないです。
2022-02-04 14:29:04
OKUMURA, Akira（奥村 曉）
@AkiraOkumura
@kenmcalinn この例でそれの何が問題なのでしょうか。他の事例も含めた一般論では、ベイズだろうがなんだろうが、ほしい結果が出るまで続ける、止める、は意図的に結果をある程度制御できるので問題ですよ。でもこの例では何も問題になりません。
2022-02-04 23:37:11
OKUMURA, Akira（奥村 曉）
@AkiraOkumura
@kenmcalinn 「「使える状況」はなくて「使っても問題が小さい状況」か「問題が大きい状況」しかない」とのことなので、私の挙げた例で具体的に何が問題なのかご指摘ください。
2022-02-04 23:39:05
Ken McAlinn
@kenmcalinn
@AkiraOkumura いやベイズに停止規則の問題はないです。p値ではあります。ご存じないようでしたらやはり正しく使うのは難しいんじゃないでしょうか。 あと何度か尤度原理に反するから問題だと言ってるんですが。p値は例がどうこう以前に本質的に問題があるんです。
2022-02-04 23:54:39
OKUMURA, Akira（奥村 曉）
@AkiraOkumura
@kenmcalinn この例で尤度原理に反すると何が問題なのでしょうか。説明できないのならもう結構ですが。
2022-02-05 00:14:40
TJO
@TJO_datasci
「p値は使うべきではない」談義、自分も本質的には「p値を正しく扱える人なんて殆どいないので避けるべきだが、p値が人口に膾炙し過ぎてp値以外の統計的な信頼性の評価法を知らない人が多過ぎるので、あくまでも方便として使っている」派です。p値は汎化性能を何も表現しないので出来れば使いたくない
2022-02-05 00:42:10
ナシェモン
@nassyemon
十分なサンプルサイズが得られなければ、再現実験も難しく、そもそも根本的にモデル設定をミスっている可能性に丁寧な注意を払うべき生物学・人間科学・社会科学的なデータにはp値の議論は論外で、真の意味でサイコロ振りの延長で考えられる統制された自然科学実験ならいいんじゃないすか。
2022-02-05 00:58:18
ナシェモン
@nassyemon
p値が良くないという背景に、そもそもファジーな分野において｢これだけ見れば良い｣と思考停止できるような画一的な実験方法・評価手順を定められないことが根本にあると思うので、その文脈を意識しないとデータサイエンティストさん達の議論の意味が掴めないと思った。 (p-hacking、多重検定は論外
2022-02-05 01:03:03
Ken McAlinn
@kenmcalinn
@AkiraOkumura 尤度原理に反すると正しい統計推論はできないです。この例ですと様々な条件が揃えば正しいp値の使い方はできると思います(実際の応用でそれができる非統計学者はほとんどいないと思いますが)。しかし正しい統計推論ができないツールなので本質的な問題は回避できないです。
2022-02-05 01:04:21
ナシェモン
@nassyemon
そういう意味でエンジニアとして、社会の皆さんにはp値議論の前に｢盲目的なA/Bテスト信仰は良くない｣ってことのほうがむしろ意識していただきたいところ。 (｢平均的な利用者における反応の差｣と｢計測した指標の平均の差｣の違いを意識して欲しいとか、ちゃんと共変量で層別して確認して欲しいとか
2022-02-05 01:08:58