心理学者の研究実践と結果の再現性について

Yuki Kamitani @ykamit

こんなことを公言して職を失わずにいられるなんて、、、 jpa-psych.seesaa.net/article/460707…

Yuki Kamitani @ykamit

日本心理学会は理事会レベルで緊急にアクションを起こしたほうがいいと思います。「再現性のない研究に税金を使うべきではない」と国会議員が騒ぎ出しますよ。身内がこんなことをやっててたら「基礎研究や大学を国がもっとサポートすべき」などとは他の分野の研究者も言いにくいでしょうし

Yuki Kamitani @ykamit

外圧が必要なら何か私の方でやりますが。。 あるいは、日本学術会議マターでしょうか？

Masanori Takezawa @lalalarakko

@ykamit . 確かに2010年9月の時点でそう発言していましたし、その事実は否定しません。しかしその頃から2011年秋にかけて、それまでの認識は完全に吹き飛ばされました 。私は、2010年4月に上智に異動後、学生指導のために初めて社会的認知の研究領域に足を踏み入れます。

Masanori Takezawa @lalalarakko

@ykamit そして院生や卒論生の行う研究を通して、社会的認知の多くの結果がまともに再現できない事態に直面します。目の効果が再現できないという相談を他のラボの院生から相談されたのもこの年です。当時はnegative resultsをそのまま公刊することが一般的ではなかったのですが、

Masanori Takezawa @lalalarakko

@ykamit この結果は公刊せなばなるまいと考え、論文にしました。その後のメタ分析論文でも繰り返し引用されています。卒論生の追試で老人プライミングが再現できなかったのは2011年の冬。これもひとまず2012年の日心で院生が発表しましたが、ほぼ同時期に、より大規模な追試結果がPLOS Oneに掲載されました。

Masanori Takezawa @lalalarakko

@ykamit 2011年冬に、自分にとっては決定的な出来事がありました。かつてTilburgで同僚だったDiederik Stapelの捏造発覚。このスキャンダルで、顔見知りの院生たちの人生が、大きく変わってしまいました。彼女たちがその衝撃から立ち直り、新たに博士号を取り直すまでに数年の時間が必要となりました。

Masanori Takezawa @lalalarakko

@ykamit この時期から、私は再現可能性問題やQPRについて真剣に考え始めます。一連ん問題は、自分自身よりも、院生たちの人生に大きな影響を与えることを知らされたからです。それは再現可能性問題が大きく注目を集め、様々な論文が公刊された時期と重なります。

Masanori Takezawa @lalalarakko

@ykamit Bennett et al., 2010の鮭のMRI論文やVulのvoodoo correlationの論文を通して、社会神経科学にも同じ問題が存在していることを知ったのもこの時期です。

Masanori Takezawa @lalalarakko

@ykamit そして2013年の春。当時の日本社会心理学会会長だった村田先生に声をかけられ、新規事業委員会の委員になりました。そして第1回春の方法論セミナーのテーマとして再現可能性問題を取り上げることを主張し、そして2014年春にそのテーマでセミナーを開催しました。

Masanori Takezawa @lalalarakko

@ykamit 今年7月に公刊された心理学評論「統計革命」の特集号論文でも、この問題をフォローアップした論文を書いています。

Masanori Takezawa @lalalarakko

@ykamit 過去の発言は否定しません。しかしそれから8年が経ち、今では自分のラボの研究では主要な結果は必ず追試し、例数設計を採用するようになりました。その動きは、私が知る限り、日本の社会心理学者の中で少しずつ広がっています。外部にはまだ見えないでしょうが、それは事実として申し添えておきます。

Masanori Takezawa @lalalarakko

@ykamit もう一点。偽陽性の主因とされるn増し。条件付きで行われるなら偽陽性の発生率はかなり抑制されることが村山さんの論文で指摘されています。 twitter.com/fronori/status…

Tetsuo Ishikawa @fronori

"N増し"は、.05 < p < .10のときのみ行えば偽陽性率のインフレは、高々７%程度に抑えられる。Murayama et al (2014) Pers Soc Psychol Rev centaur.reading.ac.uk/34935/1/kou2.p… pic.twitter.com/pYcbIBKQ5z

2014-10-21 16:33:38

Yuki Kamitani @ykamit

@lalalarakko 率直なコメントありがとうございます。最近のご活動を把握せずに職を云々などの表現を記したことをお詫びします。

Yuki Kamitani @ykamit

@lalalarakko 竹澤さんのご活動は別にして、日本では一般に、再現性やQRPの問題を真摯に受けとめていない研究者が多いように思います。昔から再現性がないのに慣れていて理論武装が進んでいるせいか、論点をすり替えた議論のための議論になりがちです。

Yuki Kamitani @ykamit

@lalalarakko こんな状況を見てを他の分野の人や一般の納税者はどう思うだろう？というのが私が感じる「心理学の危機」です

novemberrain1108 @Tatsunori_Ishii

リツイートしかできないけど、再現性問題に無知でないし、（個別に／集団で）取り組みもしてることは表明しないといけないと...なるほど twitter.com/ykamit/status/…

Satoshi Tanaka @sato51643335

なぜこのブログが昔のtweetを取り上げたのかが理解できていませんが、この後のご本人とのやりとりは興味深いものでした。適切かどうかという意味では結論ははっきりしているかもしれませんが、practiceの問題では学問分野に対する理解も必要だと思いました。 twitter.com/ykamit/status/…

Yuki Kamitani @ykamit

@sato51643335 自分が学んできた研究慣行の誤りに気付いた人の体験から学べることが多い一方、不正をしなかったが故に研究者の道が閉ざされてしまった人がいるかもしれず、悩ましい問題です

Satoshi Tanaka @sato51643335

@ykamit ポストを得る前の若い研究者の場合、不正に直面してなすすべもなく研究を断念せざるを得ないこともあります。PIには若手を育成する責任もあるはずですが、不正から若手を遠ざける努力が十分ではないことがあります。論外なのですが逆にこの関係を悪用している研究者もいます。

Masanori Takezawa @lalalarakko

@ykamit 例えばRigdon論文は撤回されるべきだとお考えですか？少なくとも意図的な捏造はない。むしろ馬鹿正直に問題のある分析を報告している。公刊された論文を、吟味せずに鵜呑みにする読者を想定するなら撤回すべきです。しかしそれはもはや科学者ではない。

Masanori Takezawa @lalalarakko

@ykamit 心理学の危機は、QRPを教育し、結果の信頼性を判断するリテラシーを広めることで脱却すべきだと思います。分かりやすくはないし時間はかかりますが、それしか道はない。 twitter.com/annemscheel/st…

Anne Scheel @annemscheel

Wow! At their last meeting (246 representatives from 41 German institutions!), the congress of German psychology student councils (PsyFaKo) wrote a position paper on #openscience and they have some demands... (thread) 1/7 Link [German only]: psyfako.org/wp-content/upl…

2018-07-10 18:25:58