始まりは、「p=.05は有意か」って話

だいひこ @daihiko

やっぱりおかしいんだ。 RT @lalalarakko おかしいものは無限に存在するので、いちいち全部に付き合うのは非効率的です。

だいひこ @daihiko

正しい。 RT @myuuko 院生は正しさより掲載優先です。

渡邊芳之 @ynabe39

@omiyas そういうことです。きちんと計画された実験に検定は必要ない。

渡邊芳之 @ynabe39

これはごもっとも。RT @daihiko: やっぱりおかしいんだ。 RT @lalalarakko おかしいものは無限に存在するので、いちいち全部に付き合うのは非効率的です。

Yuuko Morimoto @myuuko

なんだか@daihiko先生と@lalalarakko先生の仲良し話に割り込んでしまっているような気がしてきた。

Masanori Takezawa @lalalarakko

この世におかしくないものがあったら教えてください。世界の事物のほとんどは「少しおかしい〜大変おかしい」という連続体のどこかに位置するはず。その世界ではかなりおかしいとややおかしいの区別はクリティカル @daihiko やっぱりおかしいんだ。

渡邊芳之 @ynabe39

ただけっきょくここでもsmall effectの問題が出てくる。目で見て明らかなほど明確な差が出ないときに、それを傾向として採用するかどうかを検定で判断するようになる。大した結果が出なくなるほど検定に頼る。

渡邊芳之 @ynabe39

アッシュの同調実験のLarge effectに検定しろとは誰も言わない。いま心研ならいうかw

Nobuhiro Mifune @NobuMifune

酒の入った頭で「本当は研究（の目的）によって有意水準は変化していい（するべき）のに、それを認めると研究者の『恣意性』を排除できないというジレンマが問題なのかも」とつぶやいてみるテスト

Masanori Takezawa @lalalarakko

@NobuMifune 例えば医学で「薬の効果がない（もちろん有害ではない）のにあると判断してしまうコスト」より「薬の効果があるのにないと判断してしまうコスト」が高い場合にはあえてp=.1/.2に設定するケースもあるとかないとか聞いたことがあるようなないような。

Nobuhiro Mifune @NobuMifune

@lalalarakko 私もそういう話を耳にしたことはありますが、実際の例をちゃんと確認したことは無いので。たぶん、例えば社会心理学の研究でそういう有意水準の「調整」を行うことは「多くの研究者」に認められないのでしょうね。

Yuuko Morimoto @myuuko

本当は片側検定すべきところで両側検定とか，分散分析なしに単純主効果の検定はダメとか，似たような話は色々あるよね。 RT @NobuMifune: 「本当は研究（の目的）によって有意水準は変化していい（するべき）のに、それを認めると研究者の『恣意性』を排除できないというジレンマが問