RIETI(独立行政法人 経済産業研究所)が政策的含意を無理に書かせている問題

メモ用です
2
ショーンKY @kyslog

筆者の記述的な主張はわかるのだが、根拠部分でフィットの線を引っ張る方法はちょっと強引かなあと思う。 ・フィットする線の妥当性  ・特に金利の正負で個別にフィットした時のフィットした線の意味の妥当性 ・このサンプルサイズでフィットした時の含意の強さ この辺が疑問 twitter.com/RIETIjp/status…

2018-12-23 18:19:28
独立行政法人 経済産業研究所 @RIETIjp

ノンテクニカルサマリー:「#日銀#マイナス金利政策 は銀行貸出を増加させたか?」(郡司 大志 (大東文化大学))を掲載いたしました。 rieti.go.jp/jp/publication…

2018-12-20 17:47:08
ショーンKY @kyslog

RIETIは政策シンクタンクであり何か政策的含意を言わねばならないというプレッシャーが強いのは分かるが、政策的含意を強く言うことが目的化していて、結論ありきの論理展開をすることが多いというのが個人的印象で、RIETIから出てくるものは全部そのバイアスを差し引いて読むべきだと思う。

2018-12-23 18:23:11
ショーンKY @kyslog

ツイッター界隈でケーザイガク批判が行われる際のケーザイガクのイメージにかなり近い研究組織だと思う。

2018-12-23 18:24:32
ショーンKY @kyslog

この件についてもう一度書きますが、このサマリーの最後2段落の「政策的含意」なる部分、ペーパーで触れているわけでもなく、参考になる文献やディスカッションの種になる弱いエビデンスもあるわけでなく、放談なんですよ。これを組織的に載せてるのは良くないと思う。 rieti.go.jp/jp/publication… twitter.com/kyslog/status/…

2018-12-25 16:34:08
ショーンKY @kyslog

「政策的含意を中心に大胆に記述したもので、DP・PDPの一部分ではありません」と言い訳しながら、さも根拠があるかのように根拠レスな放談を研究成果として(あるいはそう装って)出すのは倫理的に問題ありませんか。せめて「ここから根拠レスな放談です」くらいの区切りは出さないと不誠実と思います

2018-12-25 16:37:53
ショーンKY @kyslog

もう一度書くと、身内の英語論文を読む人には「エビデンスから言える範疇のことしか言いませんといい子面しているのに、日本語の非専門家向けサマリーでは英語論文では書いてない根拠レスな放談を専門家の権威を押し出しながら書きまくる、あかんレベルのことを組織的にやってるんですよ。

2018-12-25 17:03:34
たゆ @yutawt

Fair enoughだと思うけど、こういうときの政策提言は論文内でのエビデンスと論文外でのエビデンスを組み合わせて(レバレッジして)行うので、どこまで論文外のエビデンスを使うかはケースバイケースかなと。

2018-12-25 17:32:50
ショーンKY @kyslog

@yutawt サマリーを論文概説と追加ディスカッションの節に分割して、追加部分には必要に応じて他の論文を引用すればいいとは思います。大胆さが大事ならそれは失わなくてもいいけど、話の確度は分かるような記述のほうがいいかと。少なくとも論文では確信度によって動詞の使い分けはするわけですし。

2018-12-25 17:39:23
たゆ @yutawt

@kyslog そうですね。僕もうーんと思うサマリーを見つけてしまいました。こういうディスカッションってガバナンス難しいですね。RIETIが特別こうかといわれると、VoxEUもこういう感じなので何とも言えないです。

2018-12-25 17:44:09
ショーンKY @kyslog

@yutawt 私は放談は研究の種と思っているので、放談すること自体はそれほど問題視していません。「これは放談だ」と前置きすること、「この話の確度はこれくらいだ」と意識して書くこと(これは次の論文のイントロに直結する)がされていればOKかと。

2018-12-25 17:48:32
ショーンKY @kyslog

報告:郡司先生とは直接連絡の上、和解というか同意しました。 twitterアカウントがない方で私に連絡を取りたい場合、ブログ記載のメールアドレスにメールいただければ反応できます。よろしくお願いいたします。

2018-12-25 18:21:13
uncorrelated @uncorrelated

「このノンテクニカルサマリーは、分析結果を踏まえつつ、政策的含意を中心に大胆に記述したもので、DP・PDPの一部分ではありません」だそうです。 twitter.com/kyslog/status/…

2018-12-26 01:00:12
ショーンKY @kyslog

「社会学どこどこ」は、これは放談ですと断ってから書いてるからまだ誠実。RIETIのやり口は、「この中には放談が含まれます(どこが放談かは専門家しか読めない論文を自力で読み解いてください)」という断り書きであり、一般向けPRとしてこれは一線を踏み越えてしまっていると思う。

2018-12-25 16:41:38
ショーンKY @kyslog

「サマリー」という題名でその但し書きがついているから問題だと言っています。実際半分以上は論文概説で、その前後に大胆なspeculationが入るわけですが、元の英語DPを読まない人には概説とspeculationの区別がつけにくい構成になっています。非専門家を煙に巻くのを奨めるフォーマットは良くないです twitter.com/uncorrelated/s…

2018-12-26 07:41:49
ショーンKY @kyslog

私は大胆なspeculationでも前置きして書けば問題なく、非専門家向け文書ならばわかりやすく概説セクションと大胆仮説セクションを小見出しで分けたほうが良いのではないか、と著者の方にも提案しています twitter.com/uncorrelated/s…

2018-12-26 07:47:05
uncorrelated @uncorrelated

まぁ、@kyslog氏がrietiのウェブページの掲載物に放談など要らぬ、前書きがあっても要らぬと言う主張であれば、特に何も言うことはありません。実際、放談ニーズないでしょうしね。

2018-12-26 01:08:31
ショーンKY @kyslog

何人かの方に話を伺ったところ、RIETIは大胆な政策的含意を書くことを(著者にその気がなくても)要求しているそうです。有権者に影響が及ぶ政策の話を、風呂敷を広げて話すよう求め、二枚舌に見える形式で公開するのは、有権者にも著者にも失礼です。考えた人はタチ悪いですね。 @uncorrelated

2018-12-26 07:58:13
K. Teshima 手島健介 @tetteresearch

郡司さんじゃないですか。regression discontinuityを使って金融政策の(マイナス金利政策)の効果を実証した意欲作に見える。twitterやめた方が(おそらくご本人にとって)新しい手法を身につけて適用して意欲作を出すと「なぜオレはあんなムダな時間を(三井画像略)」と思いますね。(続く) twitter.com/RIETIjp/status…

2018-12-24 11:48:51
K. Teshima 手島健介 @tetteresearch

@kyslog DPのノンテクニカルサマリーはRIETIの担当(非学者)に政策含意を書け・強調しろと言われることがあるらしく、政策的強いスタンスが執筆者本人になくてもとってつけたような政策含意が含まれていることは想像できますし、ある政策を論文から言える以上に推して書くケースもあるのかもしれませんが、続

2018-12-24 12:02:36
K. Teshima 手島健介 @tetteresearch

@kyslog この論文と絡めるのは違うかなと思います。長文失礼しました。

2018-12-24 12:08:01
ショーンKY @kyslog

@tetteresearch 最後に、私がRIETI臭さを感じたのは日本語サマリーの最終段落で、ここに書かれている内容は本文中で触れられていないと思います。「とりわけ注意すべきは不動産関連の……」云々と書いてありますが、少なくとも本文でreal estateという単語はありません。スル銀に合わせて取って付けた文言に思えます。

2018-12-25 13:03:10
K. Teshima 手島健介 @tetteresearch

@kyslog 論文のテクニカルな面に関して書かれた疑問に関してはdocs.google.com/document/d/1T1… で私の考えを書きました。和解されたところで恐縮ですが日本語サマリーの最終段落はまあ論文とあまり関係ないですね(笑)。

2018-12-25 18:30:18
黒田敏史 @toshi_kuroda

些末な論点に拘泥している査読誌は国の組織力を使って懸命にデータを集め、大量の兵隊を導入して部門別生産性を測り、推移をプロットし、生産性の伸びの低い分野に著者が長年暖めてきた最強の改善策を書いた大作をワンパラグラフでrejectしてきたりしますからね。彼らの努力に報いる場が必要なのです twitter.com/kyslog/status/…

2018-12-25 18:44:57
ショーンKY @kyslog

@toshi_kuroda 私の考えは引用ツイの通りですが、現在は出版か無かで差が付きすぎとも思います。twitterでもどこかの分野の先生が言ってた(出版バイアスやp-hackingを防ぐため)手法の提案迄で一度書いて査読し通過した後実施し、結果の是非に関わらず報告する方式などが有用かもしれません twitter.com/kyslog/status/…

2018-12-25 22:22:32
K. Teshima 手島健介 @tetteresearch

RIETI以前の話として、論文の政策的含意を書くことは経済学者の訓練の中にはなく、少なくとも現状では、含意をどう書くかとは論文執筆能力、論文の質とは別物、というのは知られてもいいように思う。その中で政策的含意を組織として書かせるなら研究のタイプ別にガイドラインを作るのもよいかと思う>RT

2018-12-25 23:18:51
K. Teshima 手島健介 @tetteresearch

RIETI(というか政府系研究所に共通するのかも)は一定期間の終わりにとにかくDPを出さないといけないという事情があるからとも思うが完成度がとても低く、政策的含意を書く時間あったら分析進めてくれと思うDPもある。

2018-12-25 23:20:15
K. Teshima 手島健介 @tetteresearch

論文自体の質が低くて含意も信頼性の低いもの、論文の質が高くても含意が論文の中身とはかけ離れているものが多くてRTしたような意見が多くなってくると、そこになんらかの形で関わっている研究者の信頼性にも関わってくるし、研究者のプロジェクト参加動機が下がると思う。

2018-12-25 23:22:33