「７％水準で有意？！」　統計検定における有意水準をめぐる議論

StatsGuild Inc. @StatsGuild

有意確率が惜しいからって、「7％水準で有意」とかやっちゃだめ！

豊田裕貴 @y_toyoda

どうして？ RT @StatsGuild: 有意確率が惜しいからって、「7％水準で有意」とかやっちゃだめ！

StatsGuild Inc. @StatsGuild

逆にお聞きしますが良いのですか？ RT @y_toyoda どうして？ RT @StatsGuild: 有意確率が惜しいからって、「7％水準で有意」とかやっちゃだめ！

ぽい @poy_surf

あと出しジャンケンじゃダメよ、って事ですかね？ RT @StatsGuild: 逆にお聞きしますが良いのですか？ RT @y_toyoda どうして？ RT @StatsGuild: 有意確率が惜しいからって、「7％水準で有意」とかやっちゃだめ！

Takanori @garuby

検定する前に、何%水準で検定するか決めないといけないからでしょう。RT @StatsGuild: 逆にお聞きしますが良いのですか？ RT @y_toyoda どうして？ RT @StatsGuild: 有意確率が惜しいからって、「7％水準で有意」とかやっちゃだめ！

山本義郎 @yoshiroy

後だしジャンケンだから。予め有意水準を10%とした検定で有意になるのはアリ RT @y_toyoda: どうして？ RT @StatsGuild: 有意確率が惜しいからって、「7％水準で有意」とかやっちゃだめ！

StatsGuild Inc. @StatsGuild

（1）有意水準は検定前に決めなければならない（2）有意水準は慣例で0.05が標準的（それ以外で許容されるのは0.01、0.10、0.001等） 事前に決めても0.07は許容されないでしょう。作為を疑われます。許容されるならその理由に興味がありましたが。

豊田裕貴 @y_toyoda

有意水準を５％とか１０％とか切りの良い数字にしたのって有意水準を分布表で求めていたときの名残で、事前に設定するのであれば何％水準でも良くないですか？もちろん、結果を見てから事後的に水準を設定するのは意味がないですが。 @StatsGuild

豊田裕貴 @y_toyoda

あ、いろんな皆さんからツイットが来てました。皆さん同じ意見ですね。事前設定ならあり、事後に変更するのはなしっていう意味で、まさにそのとおり。 @StatsGuild さんの「惜しいから」って言う部分が「事後に」って言う意味を示していたんですね。ありがとうございました。

masahiro shinohara @mshino55

有意水準の目安って慣例と合意形成で決めるんだよね。データのバックグラウンド次第では変わるしさ。ただ危険率の許容範囲を緩める場合は慣例を打ち破る正当な理由が必要。あとだしじゃんけんは、、、論文の読み手の心証が良くないのは確実に言えるな。

masahiro shinohara @mshino55

自説の立証に不利な状況を作るような基準変更は問題ないけど、逆の場合はまぁ科学的なスタンスとしてどうよ、ってことなんだろね。

山本義郎 @yoshiroy

当然経験にもとづいて7%とか12%とか決めるのは自由ですね RT @y_toyoda: 有意水準を５％とか１０％とか切りの良い数字にしたのって有意水準を分布表で求めていたときの名残で、事前に設定するのであれば何％水準でも良くないですか？もちろん、結果を見てから事後的に水準を設定

@neurorehabDr

昨日の学会で有意水準６％で、という衝撃的なポスターがあった。なんとも作為的な（笑）

豊田裕貴 @y_toyoda

慣例という意味ではおっしゃる通りですよね。ただ、どれくらいリスクを負えるかというのが本来の有意水準の設定の目的とすれば、慣例以外の数字があっても悪くないという意味で0.07もありとは思います。もちろんなぜ0.07と説明できなければ、作為を疑われますよね。

豊田裕貴 @y_toyoda

もちろん後出しは論外というのは僕も100％合意です。あとは、慣例に従う方が良い場合とそうじゃない場合があるかの違いですよね。 RT @mshino55: 有意水準の目安って慣例と合意形成で決めるんだよね。（中略）ただ危険率の許容範囲を緩める場合は慣例を打ち破る正当な理由が必要。

StatsGuild Inc. @StatsGuild

こちらこそありがとうございました。また宜しくお願い致します。RT @y_toyoda

hidarishita @hidarishita

@StatsGuild マーケティング的には20%水準位でも良いように思えます。十中八九って言葉もありますし。

豊田裕貴 @y_toyoda

いつもわくわくしながら読ませていただいております。今後ともよろしくお願いします。いろんな方ともやりとりできて幸せでした。こういう話を何人かでざっくばらんに話しながら本にまとめられないかぁ。 RT @StatsGuild: こちらこそありがとうございました。また宜しくお願い致します

山本義郎 @yoshiroy

慣例は対象によるので、何の考察もない5%は意味ないです RT @y_toyoda: 慣例という意味ではおっしゃる通りですよね。ただ、どれくらいリスクを負えるかというのが本来の有意水準の設定の目的とすれば、慣例以外の数字があっても悪くないという意味で0.07もありとは思います。

豊田裕貴 @y_toyoda

みんなに知って欲しいかっこいいつぶやきなので、さっそくRTさせていただきます。まさにおっしゃるとおり！！ RT @mshino55: 自説の立証に不利な状況を作るような基準変更は問題ないけど、逆の場合はまぁ科学的なスタンスとしてどうよ、ってことなんだろね。

StatsGuild Inc. @StatsGuild

実務的にはありですね。20~25%程度のものはときどき拝見します。どちらかというと論文を意識してのツイートでした。RT @hidarishita @StatsGuild マーケティング的には20%水準位でも良いように思えます。十中八九って言葉もありますし。

豊田裕貴 @y_toyoda

マーケティング的には、有意水準以上に、その差の大きさ自体が意味を持つことがおおいですものね。 RT @hidarishita: @StatsGuild マーケティング的には20%水準位でも良いように思えます。十中八九って言葉もありますし。

hidarishita @hidarishita

@StatsGuild 確かに論文で7%水準はNGですね。(^-^)/

太郎丸 博 @tarohmaru

単にp値書いたらいいんじゃないかというRT @bob3bob3 「「７％水準で有意？！」　統計検定における有意水準をめぐる議論」をトゥギャりました。 http://togetter.com/li/149922

ＩＳＳＥＩ @isseing333

100年前のフィッシャーとネイマンの論争がここでも。。。仮説検定に何を求めるのかで違うんでしょう。 RT @bob3bob3: 「「７％水準で有意？！」　統計検定における有意水準をめぐる議論」をトゥギャりました。 http://togetter.com/li/149922