ラインハート&ロゴフ論文にまともな査読がなかった件

黒木先生の昨日からのやり取りが秀逸すぎるので思わずまとめてしまいました。政府債務をめぐるトンデモ論文がまともな査読を経ずに独り歩きしてしまった経緯が非常に良く分かりました。しかし、こんなトンデモ論文に踊らされて緊縮政策やられた国の人々にはたまったもんじゃないですね。戦いは続きます。
48
黒木玄 Gen Kuroki @genkuroki

ラインハートとロゴフは自分達が使っていたスプレッドシートを「敵」に渡した時点で逃げ場が無くなっている。「ごめんなさい。研究をやり直します。結果が出たら再度御検討よろしくお願いします」とでも下手に出て嵐が過ぎ去るのを待つしかなかったと思う。炎上を自ら呼び込む返事をしてしまった。

2013-04-24 21:04:40
黒木玄 Gen Kuroki @genkuroki

@genkuroki そもそも、ラインハート&ロゴフのAER2010の論文は「どのようにしたらそこに書いてある数値を再現できるか」がわかるように書かれていないように見えるんだけど、これってぼくの誤解?数値以前に科学論文としての形式がチェックされていない疑いがあると思う。

2013-04-24 23:17:20
PseuDoctor@フォロワーさん以外の通知はOFF @_pseudoctor

@genkuroki こちらのブログ記事 http://t.co/qbNXOHIGZx に付いたコメントと追記によれば、どうやらR-R論文は査読無しだった模様です。査読の無い論文が大きな影響力を持つ事自体が問題だとは思いますが。

2013-04-24 23:20:57
黒木玄 Gen Kuroki @genkuroki

@genkuroki ラインハート&ロゴフの原論文は http://t.co/yOppQ9wdre とHerndonさんたちの滅多斬り論文 http://t.co/7nSAtxNUxx は誰でもダウンロードしてチェックできる。

2013-04-24 23:21:52
安田 洋祐 @yagena

.@genkuroki @hariguchi 掲載号はPapers&Proceedings(学会報告論文のVolume)なので、いわゆる通常のAERと同様の審査はしていないと思います: http://t.co/S3PBclHqsH?

2013-04-24 23:51:20
黒木玄 Gen Kuroki @genkuroki

@genkuroki で、件のラインハート&ロゴフの論文はAER Vol.100(2)573-78 に掲載されている→ http://t.co/ePVufzW26m

2013-04-24 23:53:04
黒木玄 Gen Kuroki @genkuroki

@yagena ああ、どうもありがとうございます。なるほど、それなら、これほどひどい代物が掲載されたのも理解可能です。

2013-04-24 23:54:21
黒木玄 Gen Kuroki @genkuroki

@yagena でも、「同様の審査はしていない」という事実を部外者はどこを見て判断すれば良いのでしょうか?そのような事実がわかるようにリンクがあれば教えて下さい。

2013-04-24 23:55:32
黒木玄 Gen Kuroki @genkuroki

@yagena 「思います」ということではなくて、しっかりした証拠があればありがたいです。証拠があるならば責任を取って拡散したいと思います。

2013-04-24 23:59:46
安田 洋祐 @yagena

.@genkuroki 通常号とは違って「Papers&Proceedings」と銘打つことによって、一定のシグナルは出しているのではないかと思います。もちろん経済学者は知ってますが、他分野の研究者であってもProceedingsとあれば学会報告の論文集だということは伝わるかと。

2013-04-24 23:59:56
黒木玄 Gen Kuroki @genkuroki

@yagena 学会報告の論文集であれば、中身のチェックは全然せずに素通しだってことですか?

2013-04-25 00:01:40
安田 洋祐 @yagena

.@genkuroki そもそもどの論文が学会報告に通るのかについては(招待でない場合には)審査がありますし、またどのセッションをP&Pに掲載するかも編集委員達が決めています。その意味で「素通し」ではありません。が、通常号と同様の(3-4名の査読者をつけた)レビューはしてません。

2013-04-25 00:06:17
安田 洋祐 @yagena

.@genkuroki このへんの事情は、ある程度まともに研究している経済学者であれば共有知識だと思います。更に具体的な細部については、直接AERの事務局にお問い合わせ頂くのがベストではないかと思います。

2013-04-25 00:07:53
黒木玄 Gen Kuroki @genkuroki

@yagena ええと、「安田さんであっても本当のことはよくわからない。AERの事務局に問い合わせた方がよいと安田さんは言っていた」とまとめてかまわないですか?

2013-04-25 00:11:33
黒木玄 Gen Kuroki @genkuroki

@yagena ええとぼくが知りたいのは一人以上の査読者がついているかどうかです。「素通し」と「3~4名の査読者」のあいだは相当に広いと思う。

2013-04-25 00:18:15
安田 洋祐 @yagena

.@genkuroki それは「本当のこと」の定義が何かによりますよね(笑)ただ https://t.co/feNbnTA7mL で書かせて頂いた内容以上のことは把握していません。直接お問い合わせ頂くのが最善だと思います。

2013-04-25 00:19:52
黒木玄 Gen Kuroki @genkuroki

@yagena 言い難いかもしれないことで、しつこく突っ込んで申し訳ありませんでした。でも、色々参考になりました。どうもありがとうございました。

2013-04-25 00:26:14
安田 洋祐 @yagena

.@genkuroki AERのウェブサイトにP&Pの掲載プロセスについて記述があります:http://t.co/frzWeJ1cVR が、肝心の最終的な論文のレビューについては何も書いてませんね…

2013-04-25 00:28:18
安田 洋祐 @yagena

.@genkuroki いえいえ。自分がAERP&Pに論文を載せたことがあれば、もう少し具体的な話もできるのですが、お役に立てずすいません… 曖昧な言い方になってしまいますが、P&Pは玉石混合のショート論文集で、通常号のAERと比べるとグっと割り引いて評価されるのだけは確かです。

2013-04-25 00:30:26
黒木玄 Gen Kuroki @genkuroki

@genkuroki 続き。そういう代物は形式のチェックではねるべきだと思うんだが、「素通し」では論文を掲載しないらしい American Economic Review 誌の場合はそういうことではないこともあるということがわかったわけだ。

2013-04-25 00:35:41
Yuka Ohno 🇺🇦 @yukaohno_econ

@yagena @genkuroki 論文の査読は無いです〜 が、AEAのセッションに入ること自体が大変ですし、そのセッションがP&Pに選ばれるという事は何らかの価値がありますね。visibilityもありますし。その論文のフルバージョンは他で査読論文で出ることが多いと思います。

2013-04-25 04:56:32
Yuichiro Waki @yirwk

@genkuroki @yagena AER P&Pがnon-peer reviewedという「証言」でよろしければ、例えばhttps://t.co/rDcbmVEqQDhttps://t.co/532UCTGPCdhttps://t.co/4KaaAUrww3

2013-04-25 07:43:48
koji hasegawa @myfavoritescene

@genkuroki proceedings であって査読はなかった(大物だし素通り?)という指摘が今回早くからあったようです。

2013-04-25 08:04:24
黒木玄 Gen Kuroki @genkuroki

@genkuroki そもそも論文の著者たちのラインハートとロゴフが「敵」にあっさりスプレッドシートた渡してしまっていることとその発言から推測するに、著者たち自身が自分たちの論文に書いてある数値をどのように計算したかをわかっていないんじゃないか?

2013-04-25 10:47:23
黒木玄 Gen Kuroki @genkuroki

@genkuroki 論文誌を発行している学会はその質を保つ社会的責任がある。最低でも「その論文に書いてある結果を第三者が再検証できるだけ十分な説明があるか否か」を形式面できちんとチェックするべき。AEAはそういう団体ではないということなのかな?

2013-04-25 10:58:33