kyslogからの「経済学の予測力」批判をuncorrelated氏が受けて立った時の話

uncorrelated @uncorrelated

御指摘はごもっともで、主流派のマクロ経済学者はそうする方向に舵をきっていますね。予測ランキングも出てくるかも知れません。RT @kyslog: 予測精度の測定＆公表が信頼性向上につながる

ショーンKY @kyslog

ツイッターで経済学者先生の発言を見ていた感想として、40歳あたりを境界線にしてこれに関する意識に差がある（若手は意識が強い）という印象を持っています @uncorrelated 予測ランキングも出てくるかも知れません。

uncorrelated @uncorrelated

@kyslog モデルからそのまま実証に持っていくと言う意味では年齢的にはそうなるでしょうが、実証データと逆の動きをするような場合はシニアにも跳ねられると思います。皆さんが嫌いな某先生はマクロ金融理論ですが、意外に実証重視だそうですよ。

ショーンKY @kyslog

@uncorrelated 学問的にはそれでいいのだと思いますが、あとは政治政策との関係性だとは思います。気象学も実のところ、1週間先の予報は政策に採用するに十分な信頼性を得ているものの、1年先の予報となるとそれ前提の政策ってどの国でも組まれない程度の評価になっていますので。

uncorrelated @uncorrelated

@kyslog 気象学と比較するのは良くなくて、地震学のように捉える方が良いでしょうね。予測はあてになりませんが、防災のための情報にはなるわけです。

ショーンKY @kyslog

それはそれとして「モデルと実データを突き合わせる」は過去のデータでフィット見てるだけなので未来予測とは少し違っていて、そこの問題意識は自分ではこう書いているんで……ここのところ少し回答ずれてる感ある twitter.com/kyslog/status/…

ショーンKY @kyslog

前も書いたけど、政策提言に使うという話なら、（前提設定の可否を含めて）予測精度はこの程度であるということを言わなければならんと思う。複雑な系で実験不可ならば、天気予報のように定期的に言い続けて《学問の総体としてモデル事態の可否も含め》予測精度を計れるようにするべきかと。

2016-06-18 19:12:11

uncorrelated @uncorrelated

交差テスト的に、90年代のデータの推定値で、2000年代の予測精度を見ても良いかも知れませんね。 twitter.com/kyslog/status/…

ショーンKY @kyslog

「過去のデータへの当てはまりの良さは未来への当てはまりを保証しない」って話は氏も機械学習の話で書いていたところで、過去データの充実が逆に偏った条 件への過学習をもたらす危険性もある。だから非実験系で予測能力を評価するには常に前向性の予測を出してその都度評価するしかないって話だった

uncorrelated @uncorrelated

過学習はそういう話では無いですよ。 twitter.com/kyslog/status/…

ショーンKY @kyslog

サンプルの偏りに修正します twitter.com/uncorrelated/s…

uncorrelated @uncorrelated

機械学習で使う推定モデルは柔軟すぎる嫌いがある上に、同時性や不均一性など誤差項に入る問題をコントロールできないので。RT @kumakuma1967_o: それ機械学習に限らないから。twitter.com/uncorrelated/s…

uncorrelated @uncorrelated

機械学習はバランスのとれた学習データが十分にあるときにのみ機能するのであって、経済データ向きではないです。

2016-06-19 06:39:54

uncorrelated @uncorrelated

構造系でもSVARのようなラグが大量に入るような類のものは、情報等計量を見て入れるラグの数を決めていたりします。RT @uncorrelated: マクロ経済モデルがそう複雑かと言うと構造形はそうでもないので、過学習は心配しなくても良い

uncorrelated @uncorrelated

機械学習の過学習がなぜ生じるかと言うと、機械学習で使う推定モデルが複雑過ぎるからで、そう複雑なモデルでなければ心配しなくて良いんですよ。このツ イートの図も複雑なモノだけが当てはまるので。twitter.com/uncorrelated/s…

uncorrelated @uncorrelated

ニューラルネットワークの過学習を説明する図が出来た。なおこれの改良のディープラーニングは、ユニット数を増加させても過学習しづらいそうです。 pic.twitter.com/hyIOyh45vu

2016-06-17 22:27:40

uncorrelated @uncorrelated

ただ、構造モデルでも何らかの理由でディープ・パラメーターが変化することは排除されないので、古い期間の推定値から新しい期間の予測をするなどして、付き合わせるのは悪くないかも知れません。別々に推定して比較しても良いのですが、パラメーターだけ見せられてもピンときませんしね。