心理学再現性クライシス問題 — 眼の絵があるだけでは人間の素行はよくならない

心理学の法則は/も、再現性が高いもの以外は、半信半疑で眺めましょう。
11
ロードランナー様 @shinkai35

目の写真を貼っておくだけで人間の行動が倫理的になるという話はほんと虐殺器官みたいだよな。実際にみられているわけではないので、これは理性の判断によるものではなくむしろ機械的な反応だ。おそらく視線に反応するという行動パターンは古代に進化したので、写真と本物の視線を区別しないのだ。

2016-05-06 18:00:55
ロードランナー様 @shinkai35

あ、この研究再現性なかったらしいですよ。二年前のおれが得意げに語っているのでいたたまれないですが twitter.com/shinkai35/stat…

2018-10-05 22:00:26

※ しんかい氏のもの以外にもこの法則を披露しているツイートは山のようにあります。

Yuki Kamitani @ykamit

この「人目」の効果も再現性がないとよく議論されていますね。 sciencedirect.com/science/articl… psyarxiv.com/7a8ft/ pdfs.semanticscholar.org/0243/d56f6400c… spsp.org/news-center/bl… twitter.com/jpa_psy_ko/sta…

2018-07-04 18:31:26
サイ子@日本心理学会 @jpa_psy_ko

心理学ミュージアムに,新たに 「『人目』があると良いふるまいをする」 「スポーツファンはなぜ熱狂するか?」が掲載されました! psychmuseum.jp/category/showr… pic.twitter.com/CievWGgqL1

2018-07-03 10:28:18
Yuki Kamitani @ykamit

心理学のようなソフトな科学に厳密な再現性を求めるのは酷と言う人がいますが、効果の有無のレベルの最低限の再現性が問われています。同様に「ソフト」な経済学の行動実験(経済学の雑誌に掲載される研究)の再現性はずっとましです:経済学61% vs 心理学36% science.sciencemag.org/content/early/…

2018-07-04 20:59:35
マーキュリー2世 @uranus_2

認知心理学で再現性が高い現象はサイモン効果、フランカー課題、運動プライミング、分散効果、虚偽記憶、系列位置効果、連合プライミング、反復プライミング、 形状シミュレーション。オンラインでも同じ人が2回実験に参加しても再現される。digest.bps.org.uk/2017/06/05/the…

2017-06-05 21:34:01
Yuki Kamitani @ykamit

もちろん、再現性の高い心理学の研究もあります:  twitter.com/uranus_2/statu…

2018-07-04 21:08:14
Yuki Kamitani @ykamit

一部誤解があるようなので追記しておくと、 この36%というのは、「ある介入の効果が100人中36人に認められる」や「決定係数が0.36」というような意味ではありません。もし、追試で同レベルの効果が認められれば、十分再現性があるとみなせる場合は多いでしょう。

2018-07-07 09:09:22
Yuki Kamitani @ykamit

再現性が36%というのは、100個の研究のうち74個で、追試すると効果がゼロと区別ができないレベルだった、ということです。 決定係数0.36の研究から学べることは多いですが、効果ゼロの研究から学べることはあまりないと思います。

2018-07-07 09:10:42
Yuki Kamitani @ykamit

上のツイート、74個でなく64個ですね。すみません

2018-07-07 20:08:51
Yuki Kamitani @ykamit

たまたまですが、今アムステルダムで行われている学会の基調講演で、「人目」論文の著者Dan Fesslerが、この効果に再現性がないことを認め、今後引用をしないよう呼びかけたそうです。2005年の論文はすでに1000回以上引用されています。

2018-07-07 20:40:52
Yuki Kamitani @ykamit

Fesslerはこうも言ったそうです:「あなたの目的が、世界を真に理解することではなく議論に勝つことであるなら、研究者をやめるべきだ」 この姿勢に感銘を受けました。

2018-07-07 20:41:45
Yuki Kamitani @ykamit

学会のアウトリーチ活動こそ、下のような再現性も含めた丁寧な説明が必要なのではないでしょうか twitter.com/goando/status/…

2018-07-15 15:42:18
Go Ando / PREDUCTS @goando

第4章で引用された31の論文の統計情報からエビデンスの信頼性を計算したR-indexによれば、第4章はFグレード(不可)である事が指摘されています。 図解した、歩くスピードが遅くなるBarghらによる実験も追試で再現に失敗しています。 How Priming Research Went off the Rails replicationindex.wordpress.com/2017/02/02/rec…

2018-07-15 10:32:51
Go Ando / PREDUCTS @goando

社会的プライミングに限らず、心理学の多くの研究が再現性の低さを指摘されています。(心理学の再現性危機) サイエンス誌による大規模な追試で、ハイランクとされる100の実験のうちオリジナルと同等の再現性が確認できた実験が僅か39%に留まるという事が確認されています。 science.sciencemag.org/content/349/62… pic.twitter.com/Uvs7sePqd7

2018-07-15 10:43:58
拡大
Yuki Kamitani @ykamit

日本心理学会事務局の方から、この作品の掲載をいったん中止し、教育研究委員会博物館小委員会で議論を継続する旨連絡いただきました。

2018-07-19 13:58:50
Yuki Kamitani @ykamit

・委員の方々のアウトリーチへの取り組み・ご努力に水を差すような形になってすみません ・ごっそりなくなるのもヘンなので、注釈を加えるなどの対応が現実的かと思います:この効果についての再現性の検討状況、広い意味での見られる効果についての研究の現状、再現性問題の説明と学会での取り組み等

2018-07-19 14:04:02