心理学の再現可能性（再現性）

Kosuke Sawa @kosukesa

@masashikomori @kokiikedaJP @asarin さんざっぱら人体実験が済んでるからネタにできるけど、科学的検証抜きに医薬品の認可はできんじゃろ。基礎科学抜きに工学応用できるみたいに聞こえちゃうぞ。

こもりまさし（こもりん） @masashikomori

@kosukesa @kokiikedaJP @asarin 作用機序が不明なまま「効くから」という理由で認可されている医薬品なんて山ほどあるぞ．特に鎮痛薬なんてほとんどそんな感じじゃない？モルヒネとかアセトアミノフェンとか．

Kosuke Sawa @kosukesa

@masashikomori @kokiikedaJP @asarin 安全かどうかの確認についての手続きは 、一応「科学的」なんじゃないの？それこそ何を科学と呼ぶかになっちゃうけども、ここでいう科学的って心理学ぽい気がする

こもりまさし（こもりん） @masashikomori

@kosukesa @kokiikedaJP @asarin そのカッコつきの「科学的」を突き詰めた結果が今の再現可能性問題につながってる気はするよね

こもりまさし（こもりん） @masashikomori

@kosukesa @kokiikedaJP @asarin 心理臨床のように括弧付きのままでもいい分野と，社会心理学のように括弧を外すべき分野があるやろうな

Kosuke Sawa @kosukesa

@masashikomori @kokiikedaJP @asarin 心理臨床のなかにもカッコを外したい人たちが多くいると思うけど、どうなんだろうね。あるいは、すでに外したことになってる領域も。

池田 功毅 @kokiikedaJP

@kosukesa @masashikomori @asarin "科学"からスタートして科学へ進むのは、科学史上よくあることかと。鎮痛剤も機序が分かった方がより効果的なものが作れるのは間違いないと思います。

池田 功毅 @kokiikedaJP

@kosukesa @masashikomori @asarin また機序の解明と言っても、厳密に言えば常に概略しか分かっていないわけで、そういう意味で言えばすべて科学は"科学"であると思います。だからこそ方法論的厳密さ、つまり高い再現性が極めて本質的なのではないかと。

Hiroshi Shimizu @simizu706

方法論的厳密さと高い再現性は必ずしも結びつかない気もするが・・

Kosuke Sawa @kosukesa

ここでいう「厳密さ」は、「ただし摩擦はないものとする」的なことが可能なら達成されると思われますが、さてさて、という twitter.com/simizu706/stat…

Kosuke Sawa @kosukesa

ここでの「厳密さ」は、査読システムとか統計的な分析の問題とは違う水準にあることなので、今話題になっている部分は早く解決すべきという部分は変わらないですよ念のため

Hiroshi Shimizu @simizu706

@kosukesa すみません，ちょっとわからなかったのですが，「ただし摩擦はないものとする」は方法論的な話ですか？

Kosuke Sawa @kosukesa

@simizu706 我々が実験なり調査をするときに、「理想気体」とか「真空」のようなものを仮定したうえに方法論を確立できるかってことですね。再現性問題で今のところよく話題になっているのは、その後にどう分析するかとかの話が多いように見えます。

Kosuke Sawa @kosukesa

@simizu706 中西先生とやり取りする限り、中西先生も「人間のこころを対象とした既存の研究法は、そうした厳密さを獲得しえないのでは」とお考えだと思います。これはQRPsとも査読システムとも無関係で、あえていえば「理論の不在」部分の話でしょうか。

Hiroshi Shimizu @simizu706

@kosukesa なるほど，方法論という言葉についての範囲が異なっていたので混乱しました。現象を考える上での仮定，という意味では，僕も中西さんと同じように懐疑的な部類にいます。程度の問題という意味ではどれも無理っぽいけど，見做しの意味である程度いけるかも，という感じです。

Kosuke Sawa @kosukesa

@simizu706 いままでも心理学はいろいろなものを「操作的定義」のもとに見做しで進めてきたわけです。池田さんは、操作的定義は認めつつも日常的な言葉をラベルとして貼りつけることが基盤を危うくしてるとお考えだと思われます。

Hiroshi Shimizu @simizu706

@kosukesa なるほど，よくわかりました。ありがとうございます。そして，いわゆる分析とかの狭義の方法論的問題について，解決すること（コンセンサスを取ること）については早めにしておいたほうがよいだろうことは，僕も同意です。

Kosuke Sawa @kosukesa

@simizu706 HADに、「このデータを得るための追試をしたときに再現できる確率はこれくらい」を計算する機能を実装しましょう

池田 功毅 @kokiikedaJP

@simizu706 @kosukesa 理論構築と再現可能性チェックは分けて考えるべきという点は踏まえるとして、僕としては科学で方法的に厳密であれば、再現可能性が高くなるだろうと思っています。先程はそういう意味で書きました。1/2

Hiroshi Shimizu @simizu706

@kosukesa どこまでジョークかどうかはさておきｗ，Prepとかはそういうものを目指してましたよね。すでにHADはPrepを出しますｗ　あと，次にデータをとっても再現できる確率はベイズのほうがいいですよね。頻度主義だと手元のデータの得られる確率しかわからないので。

池田 功毅 @kokiikedaJP

@simizu706 @kosukesa 逆方向はどうかと言われたら、再現性という言葉はこの文脈では科学研究に関して、と限定して使っているので、やはり正しいのではないかと思うのですが、どうなんでしょうか。2/2

Kosuke Sawa @kosukesa

@simizu706 事後予測分布とかそういうのですかね。しかしそれで収まらないから問題になっているので、そういうのを超越した神機能を（ジョーク）

Hiroshi Shimizu @simizu706

@kokiikedaJP @kosukesa 僕は社会科学としての心理の立場なのですが，まず現象が再現されることが保証されているものは限られていると思います。なので，方法論が厳密でも，世界が変われば再現はできないだろう，と思います。でも，相対的に再現可能性は高くなるのは（続く

Kosuke Sawa @kosukesa

@kokiikedaJP @simizu706 もちろん再現可能性は高まります。程度問題であることは承知で付け加えると、より高い再現性を得るためには研究対象の厳密化が必要で、それには理論の精緻化が必要です。これこそ「次に来るもの」で、むしろこちらの寄与が大きいかもしれません。

Hiroshi Shimizu @simizu706

@kokiikedaJP @kosukesa そうだろうと思います。科学研究が指す範囲が何か，という点に関わると思いますね。世界が変わらないものを対象とするのが科学だ，というのであれば，方法論的厳密さと再現性はもっと密接に関わると思います。あと1つ気になるのは，（続く