ニコ生シノドス『ホメオパシー騒動とニセ科学論争の行方』への反応よりメタアナリシスについて

伊勢田哲治 @tiseda

「効くという結果も効かないという結果もたくさんあるが効かない方が多い」という言い方はメタアナリシスの紹介の仕方としてはミスリーディング。　http://nico.ms/lv27437085 #niconama_talk

伊勢田哲治 @tiseda

単なる多数決ではなく質のよい研究を全部足しあわせると統計的に有意じゃなくなるというところがポイントのはず　http://nico.ms/lv27437085 #niconama_talk

伊勢田哲治 @tiseda

@konamih つまり、小規模な標本で有意差が出ても、同種の実験を足しあわせて大きな標本をつくるとその大きな標本では有意差が出ない、という状況だと思うのですが。

こなみひでお @konamih

@tiseda ということは，メタアナリシスのために集めた論文の集合を標本として，統計的な評価を行うことを前提にしているわけですね？

伊勢田哲治 @tiseda

@konamih 医学におけるメタアナリシスは基本的にそういう作業だと思っていましたが。認識がずれていますか？

@ublftbo

@tiseda 既読でしたらすいませんが、青木繁伸氏によるメタ分析の説明です⇒http://aoki2.si.gunma-u.ac.jp/lecture/meta-analysis/index.html 複数の検定結果を統合する手法(2)辺りが今お話の部分と関係するでしょうか。

伊勢田哲治 @tiseda

@ublftbo そうですね。ただ、青木さんの記述は報告されるのが有意差のでたものばかりだという前提で出版バイアス率を見積もる話になっていますが、ホメオパシーの場合は出版バイアスを入れるまでもなく否定的な結果になったはず。

こなみひでお @konamih

@tiseda いや，わたしもそのあたりに無知なのでおたずねしたのですが，統計的検定は効く効かないという二項分布をこの場合仮定すると思うのです．それを研究のそれぞれに当てはめていいかどうかが気になったものですから．

こなみひでお @konamih

@tiseda メタアナリシスでは，それぞれの研究において結果の検証にちゃんとした統計的手法が採用されているかどうかでまずフィルタリングして，残りを統計的に検証するのでしょうね．そこでは効果は有意でないということであれば，その通りです．

こなみひでお @konamih

@tiseda ホメオパシーの場合，フィルタリングでほとんど決着がついている可能性は高いのではないかとも思います．

伊勢田哲治 @tiseda

@konamih そうですね。110個の研究をあつめて最終的なメタアナリシスの対象に残ったのは８件とか（これは批判記事の情報なので元記事をみないといけませんが）。

伊勢田哲治 @tiseda

@konamih わたしも詳しくないですが、同種の治験がたくさんある場合、研究を単位とした統計的分析ではなく、大規模な治験をいろいろな研究者がやったという考え方で標本をプールするはずです。その場合、個々の研究に使う統計的手法と同じ手法をメタで使うのは問題ないでしょうね。

Tatsu Hirukawa / 蛭川立 @ininsui

出版バイアスもキーワードですね。RT @tiseda: @ublftbo そうですね。ただ、青木さんの記述は報告されるのが有意差のでたものばかりだという前提で出版バイアス率を見積もる話になっていますが、ホメオパシーの場合は出版バイアスを入れるまでもなく否定的な結果になったはず。

@ublftbo

@ininsui @tiseda ホメオパシーの場合には、肯定的な結果ばかりが発表されるという意味でのファイル引き出し問題はなさそうですね。

Tatsu Hirukawa / 蛭川立 @ininsui

@ublftbo 伊勢田さんがおっしゃるように「出版バイアスを入れるまでもなく否定的」ということなんですね

伊勢田哲治 @tiseda

@ublftbo @ininsui ただ、ホメオパシー側は、ホメオパシー否定派は肯定的結果が出ても公表しないから逆の出版バイアスがかかっている、と主張するかもしれませんね。

Tatsu Hirukawa / 蛭川立 @ininsui

@tiseda @ublftbo 逆のパブリッシングバイアスも当然ありえますね。そもそも公表されている実験結果で数が多いのは肯定派のほうなのか否定派のほうなのか、あるいは中立派なのか、どうなんでしょう。すみません。そのあたりに知識のないもので…

@ublftbo

@ininsui ああ、そう言われると、これまで、肯定的な方が一般に多い、と認識していたのですが、実際どうであるかのデータは私は持っていないですね。。。これは反省。分野や、検討されている仮説・理論などにもよるのかもですね。

Tatsu Hirukawa / 蛭川立 @ininsui

@ublftbo 一般的に、たとえば超心理学系の分野などでは、肯定したい人がたくさん実験をして、否定しようとして実験することは少ないので、同じような傾向は他分野でもありそうです。そもそも、ふつうの研究領域でもそういう傾向はあって不思議ではありませんね。

伊勢田哲治 @tiseda

Lancetの論文、実際に読んでみましたが、結論は「メタアナリシスの結果は、ホメオパシーがプラセボ同様の効果しか持たないという仮説と両立する」という慎重なもの。積極的に「プラセボ以上の効果はない」と言っているわけではない。

伊勢田哲治 @tiseda

プラセボとホメオパシーを比較してきちんとダブルブラインドになっている治験が１１０件あった。その大半で、オッズ比は１以下となった、つまり効果がある、という結論が出ていた。

伊勢田哲治 @tiseda

しかし、もっとくわしく見ていくと、１１０件の中で規模が大きく質も高い８件だけを選ぶと、オッズ比は０．８８で、９５％CIが１をまたぐ（0.65-1.19)。つまり効果は統計的に有意ではない。

伊勢田哲治 @tiseda

同様の手続きをおおむね対応するような通常医療の治験１１０件に当てはめた場合には、しぼりこんだあとも統計的に有意なオッズ比0.58が得られた。

伊勢田哲治 @tiseda

著者たちは、小規模なプラセボ統制型の治験でホメオパシーに効果があるという結論が出ているのは、方法論的な欠陥や報告バイアスによるものだという仮説を立て、その仮説はこの証拠と両立する、と述べている。

伊勢田哲治 @tiseda

さらに興味深いことに、Lancet論文の著者たちは、小規模メタアナリシスでは彼らが発見したようなバイアスは発見できない、と論じている。実際、呼吸器系の感染へのホメオパシーの効果についての統制された実験８件をメタ分析するとどうみても効果があるようにしかみえない。