p値を使ってはならない

Willy OES ☀ @willyoes

最近、大風呂敷広げて「p値は適切じゃない」みたいな事書くのが流行ってるけど、読むと「私はp値を理解していませんでした」「私は今でもp値を理解していません」「お前はp値を理解してないだろ？」のいずれかしか書かれてない。それ以外のものがあったら教えて下さい。

Ken McAlinn @kenmcalinn

Bergerが嫌というほど書いてますよ笑。 twitter.com/willyoes/statu…

Ohkubo Yusaku @Ohkubo2021

@kenmcalinn Bergerの言う「Evidenceを過小評価する」って理屈が腑に落ちないんですが、"Evidence"の概念として先に周辺尤度を持ち出してるのはなんかズルくないですか？

Ken McAlinn @kenmcalinn

@ohkubo_yusaku どこでいってましたっけ。まぁ尤度原理に反するので評価がデータによってのみ決まらない、つまりデータの重要度が下がってるっていうのはそうだと思います。

Ohkubo Yusaku @Ohkubo2021

@kenmcalinn ちゃんと覚えてないんですが、80年代後半にp値との比較を盛んに論じる中でそんな言い方してた記憶が。 尤度原理に反するのはそうなんですが、頻度論側を納得させるなら最初からベイズ流のtermありきで”evidence”て言い切るのは悪手な気がします。

Ken McAlinn @kenmcalinn

@ohkubo_yusaku まぁたしかにそうですね。そのための決定理論だったりするわけですしね(結局頻度論の人を説得するには頻度論で話さないといけないやつ)。

OKUMURA, Akira（奥村 曉） @AkiraOkumura

1 周回って「p 値は使ってはならない」みたいに教える人まで現れて困ってるんだよな。あなたたちの分野で変な使い方したからでしょ。

OKUMURA, Akira（奥村 曉） @AkiraOkumura

あの人たちはさ、調査に伴う統計誤差以外の要因の取り扱い方を知らないんだよね（そもそも分野によっては取り扱えない）。だから「標本を大きくしすぎてはいけない」とか信じている。そのくせ p 値を使ってきた。統計的に検定できないのに。 twitter.com/AkiraOkumura/s…

OKUMURA, Akira（奥村 曉） @AkiraOkumura

うちの大学の話なんですけどね

Ken McAlinn @kenmcalinn

一周どころか割と伝統的な主張だったりする。そして使い方の問題じゃなくて本質的な問題だから「使わないほうがいい」って主張はわかる。なんなら(少なくとも学部レベルなら)教えないほうがいいと思う。 twitter.com/AkiraOkumura/s…

Ken McAlinn @kenmcalinn

ただ昨日までp値使ってた人がいきなりだめって言うのは危なっかしい。

OKUMURA, Akira（奥村 曉） @AkiraOkumura

「使わないほうがいい」と「使ってはならない」は違う意味です。また使える状況と使わないほうがいい状況は区別しなくてはいけません。 twitter.com/kenmcalinn/sta…

Ken McAlinn @kenmcalinn

「は」じゃなくて「なら」って言うべきでしたね。立場的には「使える状況」はなくて「使っても問題が小さい状況」か「問題が大きい状況」しかないので使わないほうがいいとは思いますが(元々ASAの声明もこれに近い立場だったけど政治的にあぁなったという点も)。 twitter.com/AkiraOkumura/s…

OKUMURA, Akira（奥村 曉） @AkiraOkumura

@kenmcalinn 「正方形に内接する円を考え、乱数を使って正方形内に (x, y) の組を一様に生成させる。このとき、円の内側に入った点の個数から円周率を概算するプログラムを作成せよ。知られている円周率の値からずれがないか確率の観点から検証し、バグがないか調べよ」例えばこれでも使えないですか？

Ken McAlinn @kenmcalinn

@AkiraOkumura その場合だと帰無仮説が円周率と合ってる、なのでそれを棄却してバグがあるかはわかってもバグがないかは検証できないです。ただ本質的に言えばp値は尤度原理に反するので使ってはだめという立場です。

OKUMURA, Akira（奥村 曉） @AkiraOkumura

@kenmcalinn こちらの書き方が悪かったですね。「課題の提出前に明らかなバグがないかを検証せよ」だったら良いですよね。

OKUMURA, Akira（奥村 曉） @AkiraOkumura

@kenmcalinn 「明らか」という言葉も少し曖昧ですが。

OKUMURA, Akira（奥村 曉） @AkiraOkumura

@kenmcalinn 「バグがないか調べよ」を「バグが 1 つも混入していないことを証明せよ」という意味で使う人はほとんどいないと思います。

Ken McAlinn @kenmcalinn

@AkiraOkumura なにをもってして「良い」のかによるんですが、任意にサンプルサイズを増やせるから問題が小さいのであって尤度原理に反する以上は統計推論としては問題があると思いますけどね。この問題も本当に知りたいのはこのプログラムにバグがあるかじゃなくて正確に円周率を計算できるかだと思うので。

OKUMURA, Akira（奥村 曉） @AkiraOkumura

@kenmcalinn いえ、プログラミング初心者の課題なので、知りたいのは明らかに計算間違いがないかを知りたいということです。円周率 3.598742 ± 0.000005 という結果を検証するのに単純な二項分布の確率の概念は役に立ちます。まだサンプルサイズが非常に大きい素粒子実験などでも同様です。

OKUMURA, Akira（奥村 曉） @AkiraOkumura

@kenmcalinn 一番最初の tw は、うちの大学のある講義なんですが、χ2 検定と p 値を教えた後に、講義の最後にどんでん返しで「でも p 値は使ってはいけない」のように教える意味の分からない話で。（使える状況が限定されるという解説もなしに、です）

Ken McAlinn @kenmcalinn

@AkiraOkumura 素粒子実験とかではかなり高い(低い？)有意水準で検定をするのは知ってますし、それによって問題が少ないのはわかるんですが、p値(ないしはNHST全般)の本質的問題は回避できてないのでやはり問題はあると思います。まぁ実際どういう意図で教えたかはわからないですが、使える状況を限定しても

Ken McAlinn @kenmcalinn

@AkiraOkumura 勝手にどんどん使ってしまうのが人なので気持ちはわかります(なので自分の授業では検定は教えないです)。

OKUMURA, Akira（奥村 曉） @AkiraOkumura

@kenmcalinn 素粒子実験では p 値をもって何かを主張するというより、帰無仮説（ある素粒子が存在しないなど）では説明のできない信号の超過（通常は 5 σ 以上）になるまでデータを溜めて発表するという使い方です。もちろん帰無仮説のモデリング自体がおかしいとか、理論も複数あるとか実験装置の系統誤差がある

OKUMURA, Akira（奥村 曉） @AkiraOkumura

@kenmcalinn とか、そういうのを皆が理解した上での基準です。