黒木玄先生の統計の話（など）

黒木玄 Gen Kuroki @genkuroki

#数楽 線形代数までAIと呼ばれる時代になっているようだが、ニューラルネットワークは「パラメーターの調節で函数を近似する方法」の一種。ある意味でTaylor展開とかFourier解析とかWeierstrassの多項式近似定理達の親戚。 続く

黒木玄 Gen Kuroki @genkuroki

#数楽 「パラメーターの個数nを増やせば(適切に制限された)任意の函数を近似できる方法」は無数にある。ニューラルネットワークは無数にあるそういう方法の一つに過ぎない。 数学を勉強する価値のひとつは「無数にある◯◯の方法の一つに過ぎない」という抽象化が可能になること。続く

黒木玄 Gen Kuroki @genkuroki

#数楽 「無数にある」ということに真に気付けば、「その中から自分の意思で選択して使うことになる」と考えるようになる。 自分で選べる選択肢があることに気付いた人だけが創造性を発揮できるようになる。「これしかない」と思い込んだらアウト。

黒木玄 Gen Kuroki @genkuroki

#数楽 パラメーターの数を増やして調節すれば、(適切に制限された範囲内の(以下略))任意の函数を近似できる方法があったとしましょう。 その方法を、現実世界から得られた有限サイズのサンプルに適用して、パラメーターを調節した結果は、予測にも使えます。しかし予測精度の見積もりが難しい。

黒木玄 Gen Kuroki @genkuroki

#数楽 無数にある方法の各々の (1) 任意函数の近似性能 (2) 予測性能 を評価できればとてもうれしいわけです。無数にある技術をどのように選べば良いかの指針が得られるわけですから。 ニューラルネットワークのように入力に合わせて近似に使う函数の基底を自動調節できる方法は(1)の性能が高い。

黒木玄 Gen Kuroki @genkuroki

#数楽 専門外のど素人なので詳しい詳細の話になるとボロが出るのでこのくらいにしておきますが、ニューラルネットワークの函数近似性能が高いことと近似性能が高いだけだとダメで予測性能(汎化能力)が重要であることについては watanabe-www.math.dis.titech.ac.jp/users/swatanab… を見て下さい。

黒木玄 Gen Kuroki @genkuroki

#数楽 そこで紹介されているバロンの定理(3層ニューラルネットは函数近似法として基底が固定されている近似法よりはるかに優れているという内容の定理、「次元の呪い」の解消定理！)の論文は pages.cs.wisc.edu/~brecht/cs838d… からダウンロードできます。誰か解説して下さい😊

黒木玄 Gen Kuroki @genkuroki

#数楽 函数を効率よく(少ないパラメーターで)近似できることはうれしい。 函数近似性能だけではなく、汎化(予測)性能が大事だという教養は結構大事。 関連の連続ツイート↓ twitter.com/genkuroki/stat…

黒木玄 Gen Kuroki @genkuroki

#数楽 ニューラルネットワーク(以下NN)の解説としては渡辺澄夫さんによる次のリンク先に解説もおすすめ。 watanabe-www.math.dis.titech.ac.jp/users/swatanab… 数学に詳しい人は、NNはTaylor展開やFourier展開の仲間だという先入観から入ると理解し易いと思います。NNで(適当な条件を満たす)任意の函数を近似できます。続く

2017-12-19 13:06:37

黒木玄 Gen Kuroki @genkuroki

#数楽 函数近似性能を高めるためのキーになる普遍的なアイデアは、近似先の函数に合わせて基底の選び方を自動的に変える仕組みを作ることのようです。 例えば、Fourier展開で Σ a_n e^{inθ} のnの動く範囲を-NからNの形に制限するとそうならない。各Nごとに基底が固定されてしまう。

黒木玄 Gen Kuroki @genkuroki

#数楽 誰かバロンの定理をきちんと数学的に一般化した形式で解説すれば幸せになれる人が増えると思う。

黒木玄 Gen Kuroki @genkuroki

#数楽 汎化能力(予測性能)については watanabe-www.math.dis.titech.ac.jp/users/swatanab… 特異点解消とニューラルネットワークのベイズ推定における汎化誤差 青柳 美輝 渡辺 澄夫 をググって見つけた。ただし、ニューラルネットワークは通常ベイズ推定はしていない。

黒木玄 Gen Kuroki @genkuroki

#数楽 よく耳にする◯◯は確かに数学的に興味深い良い性質を持っているのかもしれないが、◯◯の親戚は無数にある、のように「無数にある」という発想をできる人の方が創造性を発揮しやすいように思えます。 「◯◯しかない」という発想は数学を正しく学べば最初から不可能な考え方になります。

黒木玄 Gen Kuroki @genkuroki

#数楽 常に 「無数にあるうちの一つ」 という発想をしようとするようになる。 そして人間的弱さのせいで「◯◯しかない」と考えてしまったときに失敗であったことを明瞭に認識できるようになる。

黒木玄 Gen Kuroki @genkuroki

#数楽 ニューラルネットワークも「無数にあるものの中の一つ」であることについては、リンク先のリンク先の論文を参照。Gaussian process regressionとの関係を誰か解説すれば幸せになれる人が増えると思う。 twitter.com/genkuroki/stat…

黒木玄 Gen Kuroki @genkuroki

#数楽 NNについては、数学が得意な人が次の論文の解説をすると喜ぶ人がたくさんいると思います。 arxiv.org/abs/1711.00165 Deep Neural Networks as Gaussian Processes Jaehoon Lee, Yasaman Bahri, Roman Novak, Samuel S. Schoenholz, Jeffrey Pennington, Jascha Sohl-Dickstein

2017-12-19 13:42:04

黒木玄 Gen Kuroki @genkuroki

#数楽 「ニューラルネットワーク」のような名前が付いているせいで極めて特殊なものとしての理解しか得られないかの様な気分になってしまいますが、「近似先に合わせて足しあげる函数の集まりを変えて効率よく函数近似する方法の一つ」と言ってくれると「やる気」が出る。

黒木玄 Gen Kuroki @genkuroki

#数楽 ニューラルネットワーク以外の場合にも(例えば多項式近似やFourier級数近似などでも)、足しあげる函数のセットを適切に変える仕組みを作れば効率よく(少ないパラメーター数で)函数近似できることを示す数値実験例を見てみたい。

黒木玄 Gen Kuroki @genkuroki

計算や証明に成功しても失敗しても奇声を発したり、独り言を言いまくったり、議論に詰まるとうろうろ歩き回ったりできない場所で数学の勉強をできるはずがない。

黒木玄 Gen Kuroki @genkuroki

#数楽 数学の理解の基本は「わかりやすい解説を聴いたり読んだりすること」自体ではなく、「それを参考にしながら(うろ覚えであってもよい)、自分でやってみること」。 教える側がどんなにわかりやすく解説しても、そこが本質的な段階ではない点に常に注意を払う必要があると思う。

黒木玄 Gen Kuroki @genkuroki

#数楽 楕円曲線暗号について多くの高校卒業者が「高校のときに習った三角函数の加法公式の一般化が役に立つ話でしょ」とさらりと言えるような社会が実現すれば、膨大な余得が社会全体にもたらされる可能性があると思う。 現実とのギャップは巨大ですが、楽しい夢は見た方がよい。

黒木玄 Gen Kuroki @genkuroki

twitter.com/yusuke_ishizuk… 「表現」は必ずしも具体的とは限らず、「表現が先にあって、群は後で作られる」のような感じの場合もあるので、 representation という用語の意味にあんまりこだわらない方がよいと思いました。 数学では用語の意味にこだわるのは常に時間の無駄。 #数楽

石塚 @Yusuke_Ishizuka

群や環に対するrepresentationの訳語は、「表現」よりも「表象」の方が良かったのではないか。抽象的なものを具体的なもので表すという意味で考えると

2018-02-09 18:10:08

黒木玄 Gen Kuroki @genkuroki

twitter.com/bicycle1885/st… #統計 残差をt分布でフィッティングする回帰も難しくて楽しいです。モデルは y = a + bx + ρ T(ν). ここでT(ν)は自由度νのt分布に従う確率変数。パラメーターはa,b,ρ,νの4つ。最尤法の計算で注意しないと、νが小さな真の解を見逃して、νが巨大になってしまう。

(｢・ω・)｢ｶﾞｵｰ @bicycle1885

負の二項分布のフィッティング難しいのう

2018-03-07 13:22:28

黒木玄 Gen Kuroki @genkuroki

#統計 負の二項分布とt分布は ポアソン分布 →λがガンマ分布に従う →負の二項分布 正規分布 →分散の逆数がガンマ分布に従う →t分布 という意味で類似に分布になっています。より一般には 指数型分布族のモデル →パラメーターが共役事前分布に従う →階層モデルの確率モデル

黒木玄 Gen Kuroki @genkuroki

#統計 「下に降りて行く」タイプのアルゴリズムでパラメーターのフィッティングを行うと、真の解にたどりつけなくて、理論通りではないおかしな結果が出力されて悩むことが結構ある。 そういう場合に #Julia言語 ではBlackBoxOptim.jlを使うとうまく行く場合がある。 github.com/robertfeldt/Bl…

黒木玄 Gen Kuroki @genkuroki

#統計 上の「残差が正規分布ではなくt分布にしたがうという仮定での回帰」の動機は「外れ値」。各々のxについて残差が正規分布に従っていても、その分散に統計的なばらつきが生じていれば外れ値が容易に発生することになる。分散のばらつきが逆ガンマ分布に従うとするとt分布が出て来る。

黒木玄 Gen Kuroki @genkuroki

#統計 物理学者ごとに測定精度が大きく違っている可能性が高い場合には、物理学者全体での測定結果の誤差は正規分布よりもt分布的な分布に従っている可能性が高い。 そばを通るだけで実験を失敗させてしまう恐ろしい物理学者もいたようだ。そのような物理学者の存在は外れ値の原因になり得る。