多重検定についていろいろ聞いてみました。
もともとは@n0rrさんのこのツイートが始まり。
サイコロをコップに入れて、半か丁かヨヨイで開けるじゃん?コップ3つでサイコロゲームしてて、「半!」って言ってたとして、3つ開けたら半丁丁だったとして、「1個だけ開けたなら半だったんだから半だろ」はダメだよなーって言ってる。もう3つとも開けちゃったんだからって
2013-01-09 20:11:38昔やったラットのトランスクリプトームの実験の解析で、すごく悩んだことを思い出した。
@n0rr2種の薬品の投与(2×2で4群)実験で2wayANOVAかけたのに信用されなくて(面白そうな結果もでなくてw)、結局各群全組み合わせのt検定やれっていわれて一気にやる気なくした自分。でもどうして多重検定がいけないのか、という説明もきちんとできなかったからorz
2013-01-09 21:13:52自分用メモ:無から有(意差)を生む:多重比較でウソをつく方法 http://t.co/W046Zc1s マイクロアレイで追試といったらqPCRしてみる、とか?
2013-01-09 21:45:21曝露する物質1種類、見てみる臓器も1種類、なら多重比較の問題は起きない?そこで有意差があったらそれでいいのか?マイクロアレイだからそもそも3万種の遺伝子の多重比較をしているようなもの?多群比較して、「群として」まとめてみるのか、遺伝子ひとつひとつを見ていいのか。深い沼にはまった。
2013-01-09 21:49:30@motthy そこでFDRって話らしいのですが、それだけでは比較区間の問題を解決してない気がして不満なんですけど今のところ納得できる説明を知らないです
2013-01-09 21:53:24以前もこんな話をしていて、教えてもらったことがありました。そのときは一応それで納得したはずなんですが。
ばいおいんふぉクラスタに教えてもらって「とりあえずなんか検定して有意差があるものを陽性擬陽性とりまぜて拾ってくる」→「qPCRで確認」(トランスクリプトームの場合)でOK、という流れは納得したけど、そもそも「なんか検定」の部分で「それ使っちゃだめでしょ」という手法を選んでいたら?
2013-01-09 21:54:02@motthy qPCRで結果が出ればオーライ、という考え方と、科学的手順に間違いがあるのでそれはアカン、という考え方と。
2013-01-09 21:55:56また多重比較の話に戻ります。
@n0rr @motthy そもそも多重比較って『一つでも変動していればOK』という仮定はまずいという話に立脚しているので、本来なら遺伝子の変動を多重比較にするのはちょっとおかしいんですよね。
2013-01-09 21:54:57@nubata @n0rr その「多重比較」でわかるのは、例えば薬の投与だったら「効果の有無」だけ、ですよね?遺伝子個々の変動については(同じ一つの実験なんだけど)別問題…?
2013-01-09 21:58:05@motthy 実はこの問題は随分まえから遺伝子の変動解析は多重検定だという多数はと、それは間違いだという少数派の戦いになっています。http://t.co/ctT1Fq7t
2013-01-09 22:21:21@motthy ただ、実用的なことを言うと、GWASの場合はBH法でFDRを掛けると割りと安定した結果を返すのは経験的には確かです。ただ、遺伝子の変動の場合は癌細胞の場合と通常細胞の場合ではまったく様子が異なり、それぞれの研究現場では別々の汚いトリックが多様されております。
2013-01-09 22:22:52@motthy @nubata ある薬剤を投与した実験で複数の遺伝子について発現量を比較した際に起こる多重比較の問題と、異なる数種類の薬剤それぞれで処理した実験で複数のトランスクリプトームを比較した際に起こる多重比較の問題があると考えています。
2013-01-09 22:52:56GeneSpringも多重比較+FDRやるんだけど、何と何についてFDRかけて、どういう意味の結果を出してくるんだ…というところにあまり深く掘り進められなくて。で、結局FDRかけると有意差がある遺伝子なんてなくなっちゃったわけで←これが問題w
2013-01-09 22:04:35