ラインハート&ロゴフ論文にまともな査読がなかった件

黒木先生の昨日からのやり取りが秀逸すぎるので思わずまとめてしまいました。政府債務をめぐるトンデモ論文がまともな査読を経ずに独り歩きしてしまった経緯が非常に良く分かりました。しかし、こんなトンデモ論文に踊らされて緊縮政策やられた国の人々にはたまったもんじゃないですね。戦いは続きます。
48
黒木玄 Gen Kuroki @genkuroki

ラインハートとロゴフは自分達が使っていたスプレッドシートを「敵」に渡した時点で逃げ場が無くなっている。「ごめんなさい。研究をやり直します。結果が出たら再度御検討よろしくお願いします」とでも下手に出て嵐が過ぎ去るのを待つしかなかったと思う。炎上を自ら呼び込む返事をしてしまった。

2013-04-24 21:04:40
黒木玄 Gen Kuroki @genkuroki

@genkuroki そもそも、ラインハート&ロゴフのAER2010の論文は「どのようにしたらそこに書いてある数値を再現できるか」がわかるように書かれていないように見えるんだけど、これってぼくの誤解?数値以前に科学論文としての形式がチェックされていない疑いがあると思う。

2013-04-24 23:17:20
PseuDoctor @_pseudoctor

@genkuroki こちらのブログ記事 http://t.co/qbNXOHIGZx に付いたコメントと追記によれば、どうやらR-R論文は査読無しだった模様です。査読の無い論文が大きな影響力を持つ事自体が問題だとは思いますが。

2013-04-24 23:20:57
黒木玄 Gen Kuroki @genkuroki

@genkuroki ラインハート&ロゴフの原論文は http://t.co/yOppQ9wdre とHerndonさんたちの滅多斬り論文 http://t.co/7nSAtxNUxx は誰でもダウンロードしてチェックできる。

2013-04-24 23:21:52
安田 洋祐 @yagena

.@genkuroki @hariguchi 掲載号はPapers&Proceedings(学会報告論文のVolume)なので、いわゆる通常のAERと同様の審査はしていないと思います: http://t.co/S3PBclHqsH?

2013-04-24 23:51:20
黒木玄 Gen Kuroki @genkuroki

@genkuroki で、件のラインハート&ロゴフの論文はAER Vol.100(2)573-78 に掲載されている→ http://t.co/ePVufzW26m

2013-04-24 23:53:04
黒木玄 Gen Kuroki @genkuroki

@yagena ああ、どうもありがとうございます。なるほど、それなら、これほどひどい代物が掲載されたのも理解可能です。

2013-04-24 23:54:21
黒木玄 Gen Kuroki @genkuroki

@yagena でも、「同様の審査はしていない」という事実を部外者はどこを見て判断すれば良いのでしょうか?そのような事実がわかるようにリンクがあれば教えて下さい。

2013-04-24 23:55:32
黒木玄 Gen Kuroki @genkuroki

@yagena 「思います」ということではなくて、しっかりした証拠があればありがたいです。証拠があるならば責任を取って拡散したいと思います。

2013-04-24 23:59:46
安田 洋祐 @yagena

.@genkuroki 通常号とは違って「Papers&Proceedings」と銘打つことによって、一定のシグナルは出しているのではないかと思います。もちろん経済学者は知ってますが、他分野の研究者であってもProceedingsとあれば学会報告の論文集だということは伝わるかと。

2013-04-24 23:59:56
黒木玄 Gen Kuroki @genkuroki

@yagena 学会報告の論文集であれば、中身のチェックは全然せずに素通しだってことですか?

2013-04-25 00:01:40
安田 洋祐 @yagena

.@genkuroki そもそもどの論文が学会報告に通るのかについては(招待でない場合には)審査がありますし、またどのセッションをP&Pに掲載するかも編集委員達が決めています。その意味で「素通し」ではありません。が、通常号と同様の(3-4名の査読者をつけた)レビューはしてません。

2013-04-25 00:06:17
安田 洋祐 @yagena

.@genkuroki このへんの事情は、ある程度まともに研究している経済学者であれば共有知識だと思います。更に具体的な細部については、直接AERの事務局にお問い合わせ頂くのがベストではないかと思います。

2013-04-25 00:07:53
黒木玄 Gen Kuroki @genkuroki

@yagena ええと、「安田さんであっても本当のことはよくわからない。AERの事務局に問い合わせた方がよいと安田さんは言っていた」とまとめてかまわないですか?

2013-04-25 00:11:33
黒木玄 Gen Kuroki @genkuroki

@yagena ええとぼくが知りたいのは一人以上の査読者がついているかどうかです。「素通し」と「3~4名の査読者」のあいだは相当に広いと思う。

2013-04-25 00:18:15
安田 洋祐 @yagena

.@genkuroki それは「本当のこと」の定義が何かによりますよね(笑)ただ https://t.co/feNbnTA7mL で書かせて頂いた内容以上のことは把握していません。直接お問い合わせ頂くのが最善だと思います。

2013-04-25 00:19:52
黒木玄 Gen Kuroki @genkuroki

@yagena 言い難いかもしれないことで、しつこく突っ込んで申し訳ありませんでした。でも、色々参考になりました。どうもありがとうございました。

2013-04-25 00:26:14
安田 洋祐 @yagena

.@genkuroki AERのウェブサイトにP&Pの掲載プロセスについて記述があります:http://t.co/frzWeJ1cVR が、肝心の最終的な論文のレビューについては何も書いてませんね…

2013-04-25 00:28:18
安田 洋祐 @yagena

.@genkuroki いえいえ。自分がAERP&Pに論文を載せたことがあれば、もう少し具体的な話もできるのですが、お役に立てずすいません… 曖昧な言い方になってしまいますが、P&Pは玉石混合のショート論文集で、通常号のAERと比べるとグっと割り引いて評価されるのだけは確かです。

2013-04-25 00:30:26
黒木玄 Gen Kuroki @genkuroki

@genkuroki 続き。そういう代物は形式のチェックではねるべきだと思うんだが、「素通し」では論文を掲載しないらしい American Economic Review 誌の場合はそういうことではないこともあるということがわかったわけだ。

2013-04-25 00:35:41
Yuka Ohno @yukaohno_econ

@yagena @genkuroki 論文の査読は無いです〜 が、AEAのセッションに入ること自体が大変ですし、そのセッションがP&Pに選ばれるという事は何らかの価値がありますね。visibilityもありますし。その論文のフルバージョンは他で査読論文で出ることが多いと思います。

2013-04-25 04:56:32
Yuichiro Waki @yirwk

@genkuroki @yagena AER P&Pがnon-peer reviewedという「証言」でよろしければ、例えばhttps://t.co/rDcbmVEqQDhttps://t.co/532UCTGPCdhttps://t.co/4KaaAUrww3

2013-04-25 07:43:48
koji hasegawa @myfavoritescene

@genkuroki proceedings であって査読はなかった(大物だし素通り?)という指摘が今回早くからあったようです。

2013-04-25 08:04:24
黒木玄 Gen Kuroki @genkuroki

@genkuroki そもそも論文の著者たちのラインハートとロゴフが「敵」にあっさりスプレッドシートた渡してしまっていることとその発言から推測するに、著者たち自身が自分たちの論文に書いてある数値をどのように計算したかをわかっていないんじゃないか?

2013-04-25 10:47:23
黒木玄 Gen Kuroki @genkuroki

@genkuroki 論文誌を発行している学会はその質を保つ社会的責任がある。最低でも「その論文に書いてある結果を第三者が再検証できるだけ十分な説明があるか否か」を形式面できちんとチェックするべき。AEAはそういう団体ではないということなのかな?

2013-04-25 10:58:33
残りを読む(13)

コメント

nobu @Nobu_nova7 2013年4月25日
こんな物がユーロ地域の緊縮至上主義に繋がっていくなんて 一体どれだけの人間を不幸にしたのやら
6
kate_ono @kate_ono9 2013年4月25日
2010年3月、2012年4月、2012年夏に査読論文で続き書いてるのに2010年1月の査読無しのラフを2013年4月15日に批判するって(続 #defle
3
kate_ono @kate_ono9 2013年4月25日
目的は学問の進展の為でないとある方は捕らえていたけれど、経済学はそれでいいのかしら。心配になるわ #defle
3
kate_ono @kate_ono9 2013年4月25日
ロゴフさん達に間違えを指摘した学生は怜悧なのに、それに尾ひれをつけたら彼は学界で生きていけなくなるのではないかしら http://p.tl/jGWr
3
kate_ono @kate_ono9 2013年4月25日
彼は、ロゴフさんが選んだ国を統計処理すると相関が観察できなかったと述べただけ。続きはこれから http://p.tl/jGWr
4
HY @774_no_kk4 2013年4月26日
kate_ono9さんの指摘に同意 精査云々ってこれでは唯のブーメランではないか
1
上念 司 @smith796000 2013年4月26日
「彼らのエラーは1946年から2009年の期間、そして1800年から2009年の期間の両方に及んでいた。またオーストラリア、オーストリア、ベルギー、デンマーク、カナダのデータが欠落していた。従って「Table 1に間違いはない」というロゴフとラインハートの主張は正確ではない。」http://markethack.net/archives/51872333.html
3
松平俊介@暑い @matu2syun 2013年4月28日
日経の「経済教室」欄でも取り上げられましたね。
0