「AIに聞いてみた」放送後に教育や企業の現場に起きた小さな出来事の収集/およびGoogleのデータサイエンティストの方による「交差検証」によるチェックの重要性

なお「機械学習」でその「予測」性能の良し悪しを計ろうと思ったら、(AIC及びその派生系も使えないわけではないが)普通は「交差検証」(まだ見ぬ未来への影響が本当にプラスになったか否か)を使うしかない。 https://twitter.com/TJO_datasci/status/888752877388288000 「論点がだいぶ発散している感じなのであえて論点をグッと絞ると「交差検証で汎化性能をチェックしているかどうか」がまともな(統計学的にせよ機械学習的にせよ)モデリングをしているか否かを見分けるカギになると思う。」 https://twitter.com/TJO_datasci/status/889160083711471616
23
TJO @TJO_datasci

何度でも言うけど、このメタな問題意識の持ち方の部分って機械学習分野でも統計学分野でもきちんと細大漏らさず教える動きに乏しいので、割と宙ぶらりんなんですよ。理由は簡単で、これって実データを扱って初めて痛感するところなので twitter.com/tjo_datasci/st…

2017-07-22 22:41:49
TJO @TJO_datasci

結局、統計学による「説明」と機械学習による「予測」との区別も付かなければ、汎化性能の意味も分からず、交絡因子による因果推定の困難化も分からない人間に、無分別に大量のデータセットを与えるとデタラメな結論に至りかねないということが分かった、というのが本日の最大の収穫なんだろうか

2017-07-22 22:37:48
TJO @TJO_datasci

どうでもいいけど実務ではこの二つをきちんと分けずにごっちゃにして炎上して火を噴いて死ぬ人が少なからずいる twitter.com/tjo_datasci/st…

2017-07-22 22:49:12
TJO @TJO_datasci

そもそも「"AI"で分析」というのが違和感だらけで、一般に"AI"と言った場合は「機械学習」利用が前提でその場合はデータの「予測」が主目的のはず。データの「説明」が主目的なら統計学に基づくモデリングの方が主目的。混同してはいけない tjo.hatenablog.com/entry/2015/09/…

2017-07-22 22:21:00

お茶の間に登場する「人工知能」へのクオリティコントロールについて

KOIZUKA Akihiko @koizuka

昨夜NHKスペシャルが見えたが冒頭で「NHKが開発したAIに日本のすべてのデータを入力した」とか豪語してて、あ、これは関わったすべての人が不本意なやつだ、と思ってテレビを消した

2017-07-23 09:52:16
しんゆう/ データ分析とインテリジェンス @data_analyst_

NHKのAIの件が炎上しているが、 ・言葉を聞きかじっただけの人が ・専門家の話よりもウケの良さだけを優先し ・根拠も分析もでたらめだけれど ・まったく知らない人向けに”AI”の名前を借りて自分に都合の良いことを伝える 姿はまさに今起きている”AI”の縮図なのかなとぼんやり見てる

2017-07-23 18:11:01
しんゆう/ データ分析とインテリジェンス @data_analyst_

なお当の番組は見ておりませんのであしからず。

2017-07-23 18:11:32
TJO @TJO_datasci

そろそろお茶の間の「人工知能」も往年の「脳科学」並みにクオリティコントロールが必要なんじゃないですかね

2017-07-22 23:07:01
TJO @TJO_datasci

改めてブログ記事書くほどじゃないな、全て既出の論点でござった

2017-07-22 23:13:00
TJO @TJO_datasci

他分野の立派な研究者の先生方が昨日の番組について「AIがー」「AIはー」「AIではー」と連呼している様子を眺めている

2017-07-23 10:43:46
TJO @TJO_datasci

某"AI"(二重引用符付き)ネタ番組の件は夜が明けても紛糾しているみたいなんだが「それはそもそも(所謂AIが拠る)機械学習の仕事ではなく統計モデルの仕事」「因果と相関の取り違えもさることながらそのモデルの汎化性能を交差検証などで確認しているようには見えない」の2点で終わりだと思う

2017-07-23 11:56:11
TJO @TJO_datasci

特に「汎化性能」に注目することは重要。「因果と相関の取り違え」も含めてそのモデルが未来値も正しく予測できるかどうかでモデルの正しさ、それぞれの係数の推定結果が妥当か否かを測れる。そのために行うのが交差検証(※AIC含む情報量基準でも可だが)。多分某"AI"番組ではやってないっぽい twitter.com/tjo_datasci/st…

2017-07-23 12:00:24
TJO @TJO_datasci

「未来値」だと色々誤解がありそうなので「未知データ」が良さそう

2017-07-23 12:17:50

一方お茶の間では

ecua @ecua

NHKでやってるAIの番組、いろんなお茶の間で、「相関と因果は違う」と講釈を垂れるお父さんを生じさせているのではないか。少なくともうちでは発生している。

2017-07-22 20:33:01
魔法少女無力ちゃん(kmrm_y) @_kamur0mi_yu

例のAI未来予想の番組を見てた父親が「昔みたいな自給自足生活に戻ればええねん、それでこの国はやってたんやから」とか言い出したから、やっぱりテレビとか新聞中心でバイアスかかってる上の世代がダメ。

2017-07-22 22:41:55

いつかはできるの?機械学習系の手法で因果推論

おーいわくん @oiwa_kun

「旧来型の○○であって、最新のAIではないからダメ」的な批判、○○を使ってもダメじゃないケースが多いし、もしダメだったらそもそもAIとか○○とか関係なくもっと前段階で間違ってる

2017-07-23 09:55:57
TJO @TJO_datasci

おおいわくんが良いこと言ってる

2017-07-23 13:22:28
SHIMIZU Shohei | 清水 昌平 @sshimizu2006

「ノーベル賞とチョコなんて疑似相関だよ」と言って終わりじゃなくて、もう一歩先に行きたいわけですよ

2015-10-08 08:53:46
TJO @TJO_datasci

機械学習系の手法で因果推論、やりたいと思いながら幾星霜

2017-07-23 13:24:07
TJO @TJO_datasci

機械学習が"AI"と共に人口に膾炙していくプロセスに何か重大な間違いがあるのかもしれない

2017-07-23 13:59:52
TJO @TJO_datasci

"AI"が2000年1桁代の頃の「脳科学」の地位にたどり着くのはもう間近っぽい

2017-07-23 14:01:49
TJO @TJO_datasci

「ルールベースでもAI」「エキスパートシステム忘れたのか」勢が明くる日になったら多数現れてきたのを観察している

2017-07-23 18:09:01