【米大統領選】トランプ勝利は「統計・世論調査の大敗北」？その「敗因」は何か～ネイト・シルバーなどをめぐって

堀 正岳 @ めほり @mehori

この世論調査はほかと違っていて、固定したメンバーにほぼ毎日誰を支持しているのかを質問して情勢変化を見る手法をとっています。メンバーを固定しているので、標本誤差をせばめ、そのかわりに代表性を高めるためにそれぞれの票を重み付けしてる #ElectionDay

堀 正岳 @ めほり @mehori

ところが運の悪いことに、イリノイ州に黒人のトランプ候補支持者という、とてもめずらしい人がひとりいて、この人が一人でこの世論調査をほぼ 5% シフトしていたという報告があって興味深い nytimes.com/2016/10/13/ups… #ElectionDay

堀 正岳 @ めほり @mehori

考え方は良かったのですが、消そうと思った標本誤差にかえって噛みつかれる結果に。USC/LA Timesの調査はあまりに他のものからズレているので、LA Times自身の選挙予報ですら乖離しているという状況です。これはちょっと残念 #ElectionDay

堀 正岳 @ めほり @mehori

ところで統計オタクとしてはもう一つ気に点として、最後になってすべての世論調査がだんだん似通ってくるという現象があります。これは Herding といって、ハズレの結果を出したくないという調査会社側の心理が影響することが指摘されていて、これも誤差の一種 #ElectionDay pic.twitter.com/mzBGbgJ5nu

拡大

堀 正岳 @ めほり @mehori

またウォッチャーの間では、誰が勝つかよりもどの予測モデルが最も正しかったかという競争も静かに行われています。前回完璧だった538が実は今回もっとも保守的で悲観的。そして新種のベイズ統計モデルがしのぎを削っています #ElectionDay

堀 正岳 @ めほり @mehori

予測モデル同士の争いというのはこの横方向に対応していて、最後の２週間にトランプ氏の猛追を予測した538と、そこまで動かなかった他のモデルとの手法の妥当性についていろいろ議論が行われています #ElectionDay pic.twitter.com/jwtcdLsHMc

拡大

堀 正岳 @ めほり @mehori

オタク向けにもう少しつぶやくと、538は州同士の相関と国全体の世論調査に対する補正が強い傾向に。なのでNHでクリントン候補に悪い調査が出てくると、周囲の関連しそうな州も連動し、それにあわせて勝利確率の頻度分布が計算し直されます #ElectionDay

堀 正岳 @ めほり @mehori

これに対して、別の手法で不確実性を除去しているサイトも注目されていて、選挙後も答え合わせで何ヶ月もこの人達は楽しむ予定... bit.ly/2eH1CgR #ElectionDay

堀 正岳 @ めほり @mehori

多くの方にフォローしていただいたり、ウォッチされているようで恐縮ですが、私のようなアマチュアの大統領選ウォッチャーが結果をcallするのは越権ですので、公式の発表をジリジリ待つことにしましょう。ただ、今晩の結果を導いたものが二つ（続く） #アメリカ大統領選

堀 正岳 @ めほり @mehori

一つには、フロリダで力を盛り上げたというヒスパニック系の有権者が、意外に勝てなかった。二つ目は北部の白人労働者層の広い支持が強い。これが今日の接戦と結果を導いてる #アメリカ大統領選

堀 正岳 @ めほり @mehori

そして、なぜ既存の世論調査と統計モデルがなぜこの流れを予測できなかったか。まあ、誤差の範囲内のできごとといえばそうなんだけど、ミシガン州などは誰もが予想してなかった原因はこれからずいぶんと議論されるだろうなあ #アメリカ大統領選

堀 正岳 @ めほり @mehori

選挙結果を読むのに面白そうなのがこのグラフ。やはりまだまだ、白人男性がものごとを決めている社会というのがあるわけか。女性とマイノリティの力が結集すればと思っていたけど、その連合は教育と所得によって分断されたと nytimes.com/interactive/20… #アメリカ大統領選

堀 正岳 @ めほり @mehori

選挙結果を読むのに面白そうなのがこのグラフ。やはりまだまだ、白人男性がものごとを決めている社会というのがあるわけか。女性とマイノリティの力が結集すればと思っていたけど、その連合は教育と所得によって分断されたと nytimes.com/interactive/20… #アメリカ大統領選

堀 正岳 @ めほり @mehori

さて、データオタクの立場でみると、今回のトランプ旋風は頻度分布でいうとかなり裾野のほうの現象。調査の誤差の範囲内とはいえ、確度を上げられなかった理由がどこにあるのか、この分野はこれから何年もかかる長い長い議論に入る #アメリカ大統領選 pic.twitter.com/af04Ikx8uU

拡大

堀 正岳 @ めほり @mehori

さて、データオタクの立場でみると、今回のトランプ旋風は頻度分布でいうとかなり裾野のほうの現象。調査の誤差の範囲内とはいえ、確度を上げられなかった理由がどこにあるのか、この分野はこれから何年もかかる長い長い議論に入る #アメリカ大統領選 pic.twitter.com/af04Ikx8uU

拡大

堀 正岳 @ めほり @mehori

世論調査の大半は標本誤差の範囲内に入っているという考察。ただ、なぜ系統的に現実を捉えそこねていたのかは、個別に論じる必要がありそう。 twitter.com/NateSilver538/…

Nate Silver @NateSilver538

Clinton came within 2 points of 307 electoral votes, in which case polls would have been right in 49 of 50 states. 53eig.ht/2eURvCR pic.twitter.com/ztcuAoSIid

2016-11-10 08:59:51

堀 正岳 @ めほり @mehori

世論調査の大半は標本誤差の範囲内に入っているという考察。ただ、なぜ系統的に現実を捉えそこねていたのかは、個別に論じる必要がありそう。 twitter.com/NateSilver538/…

堀 正岳 @ めほり @mehori

特に面白いのがこれ。例の一番トランプ優勢を伝えていた LA Timesの世論調査が「合っていたのか」といわれると、得票数ではヒラリーが勝っているので「世論の数値化」としては最も成績が悪い。でも、「トランプ勝利」を予測していた調査はこれ！と飛びつく人は多そう。難しいw twitter.com/NateSilver538/…

Nate Silver @NateSilver538

Clinton's likely to win the popular vote by 1-2 points, so the LA Times will still wind up being among the least accurate national polls. twitter.com/latimes/status…

2016-11-09 15:44:24

堀 正岳 @ めほり @mehori

特に面白いのがこれ。例の一番トランプ優勢を伝えていた LA Timesの世論調査が「合っていたのか」といわれると、得票数ではヒラリーが勝っているので「世論の数値化」としては最も成績が悪い。でも、「トランプ勝利」を予測していた調査はこれ！と飛びつく人は多そう。難しいw twitter.com/NateSilver538/…

堀 正岳 @ めほり @mehori

トランプ候補は、経済的に疲弊しているところで支持が強かったという分析。つまり、オバマ大統領下での経済復興が偏っていたことを遠因ととらえることも、さらにまえのブッシュ政権の経済危機にまで源をたどることもできる。歴史家は、どう評価するだろうか twitter.com/FiveThirtyEigh…

FiveThirtyEight @FiveThirtyEight

Trump was stronger where the economy is weaker: 53eig.ht/2fAdRe0 pic.twitter.com/pCb6lMHYOn

2016-11-11 01:40:01

堀 正岳 @ めほり @mehori

トランプ候補は、経済的に疲弊しているところで支持が強かったという分析。つまり、オバマ大統領下での経済復興が偏っていたことを遠因ととらえることも、さらにまえのブッシュ政権の経済危機にまで源をたどることもできる。歴史家は、どう評価するだろうか twitter.com/FiveThirtyEigh…