自然言語処理・機械学習・帰納推論

yoriyuki @yoriyuki

「言語処理のための機械学習入門」を読み始めたけど、早速詰まってしまった。凸計画問題って、評価関数が上に凸なときも下に凸なときも含むんだよね？ってWikipediaにそう書いてあるか。

yoriyuki @yoriyuki

ラグランジュの未定乗数法とか、昔習ったよなあ。でも習ったときはあまり納得がいかなかった覚えが。

yoriyuki @yoriyuki

「言語処理のための機械学習入門」続き。KLダイバージェンスと自己相互情報量の使い道の違いが分からないな。前者が分布に対して、後者が個々の変数値に対する概念であることは分かるのだけど。

yoriyuki @yoriyuki

「言語処理のための機械学習入門」Viterbi紹介のところまで。計算のところや擬似コードを適当に読み飛ばしているので、あまりいい読み方じゃないけど。

yoriyuki @yoriyuki

ところでn-gramを素性として扱うとき、例えば例として使われている”nuture passes nature"は(nuture, passes), (passes, nature)の素性を持つことになる。でもpassesが2回出てきているのが気持ちが悪いんだけどなあ。

yoriyuki @yoriyuki

つまり(nuture, passes), (passes, nature)の素性は独立じゃない気がするんだけど、変なことは起きないんだろうか。

(change of )*state @TuvianNavy

機械学習の研究史ってどうサーベイすりゃいいんだ GoldやAngluinの帰納推論からブラックマンデ―頃のCMUの研究動向を繋ぐ道を知らない

(change of )*state @TuvianNavy

Solomonoff(1956) が「足し算を学習する機械」の実装を与えているのだがこれがまた辛い代物で しかしこれを読まないとまったくにっちもさっちもいかない

いちまさん @itimasan

純粋な数学（てゆうか何て言えばええんかわからへんけど…）やってるお人らは、統計学や機械学習についてどう思てはるんやろねー。良かったら聞かせて下さい。実際使うてる本人ですら「ちょっとこれどうなんやろ？」て無茶な仮定置いて使ったりすることも多いんよね…言い出したらナイーブベイズとか

いちまさん @itimasan

集合論とか群論とか、使えるようになるて言う前に、何が嬉しいんかウチでは全く理解できひん…使い道すら思いつかへん。けど、トップの機械学習のお人らはそういう所まで手を出してはるんよね－。うーん、いつかはそこまで勉強せなあかんねやろねー。いつかは。まぁ、今は目の前の基礎統計を学びまひょ

いちまさん @itimasan

テキストマイニングしっかりやろ思たら、更に深い自然言語処理やらなあかん言われて、それを頑張ってたら自然言語処理屋さんから機械学習やらなあかん言われて、泣きながら勉強してたら、機械学習屋さんから純粋な数学やらなあかん言われて、もう全く手が出されへん領域まで来たねー…

いちまさん @itimasan

あと自然言語処理屋さんから言語学もやらなあかん言われて、とりあえず「はじめての言語学」だけは読んだけど…そっちまで手を出してたら人生4つぐらいあっても確実に足りひんやろー…やること一杯やねー。実務家としてプログラミングもやらんといけんねー…うーん、いっぱいいっぱいあるー

Funyako Funyao @D946_2

@itimasan 渡辺澄夫先生の本とか面白いですよ。彼は数学→情報学と渡った人で、数学的に学習理論を研究されてます。

Takayuki Kihara @tri_iro

現代的な機械学習については全く知らないけど、E.M.Goldが1960年代にやってたような素朴な極限同定あたりのレベルの話題なら好き > http://twitter.com/#!/itimasan/status/26178592967

yoriyuki @yoriyuki

@tri_iro いわゆる計算論的学習理論と、今実用で使われている機械学習とはかなり乖離しているという印象を持っています。どちらも表面的にしか知らないですが。

yoriyuki @yoriyuki

Support Vector Machineとか、超平面で分離するだけですからね。

H. Miyoshi (ALC Japan is rescheduled in 2025) @metaphusika

その辺に関わる論理は林晋先生が研究されてますね。 RT @tri_iro: 現代的な機械学習については全く知らないけど、E.M.Goldが1960年代にやってたような素朴な極限同定あたりのレベルの話題なら好き > http://bit.ly/cIdrwS

Takayuki Kihara @tri_iro

@metaphusika そういえば林晋先生の極限計算可能性に関連する論理の話はちらっと見たことがあります。あと八杉先生も計算可能性解析で機械学習（帰納推論）を用いた計算可能関数の研究をやってらっしゃいましたね。

H. Miyoshi (ALC Japan is rescheduled in 2025) @metaphusika

@tri_iro 極限計算可能性の論理はもともとは林先生の仕事ですね。学習理論との関係は山本章博先生との議論で色々明確になったようです。そこに八杉先生が別にやっていた計算可能性解析学の研究が加わったと。あとはだいぶ前から小林聡さんもゲーム意味論でその論理の研究に加わっています。

yoriyuki @yoriyuki

@metaphusika あれって学習なんですかねえ。普通の機械学習はデータセットから述語なりなんなりを学習するわけですが、林先生のはそういう意味での学習ではないですからね。厳密には学習じゃないんだと、林先生自身も言っておられた気がします。

H. Miyoshi (ALC Japan is rescheduled in 2025) @metaphusika

@yoriyuki まあ何が学習かということ自体色々な立場があるようですのではっきりとは言えませんが，Plotkinが昔やっていたような帰納的学習との対応は機械学習が専門の山本章博先生と議論して明確になったようです。その結果，厳密には学習ではないとおっしゃられているのかも。

yoriyuki @yoriyuki

@tri_iro @metaphusika そういえば龍田真先生もされていたと思います。林先生はわりと哲学的なことをやっていて、そこから出てきた問題を龍田先生やBerardiさんが解くっていう感じだったかなあ。まあいろんな人がやってましたけれども。

yoriyuki @yoriyuki

@metaphusika 私もイタリアにいた頃ちょっとやりました。　http://bit.ly/aCB1QC

いちまさん @itimasan

.@tri_iro うーん、60年代がどんなもんやったんか残念ながらウチは知りまへんけど、昔の機械学習はもっと綺麗でしたねー。今は精度を求めるために、えらい枝葉を追い求めてモデルも煩雑になってる上、コンピュータの進化のおかげでなんのかんの言うても力技最強説が罷り通ってる時代ですね

Takayuki Kihara @tri_iro

@itimasan 僕も60年代の話はGoldのオリジナルの奴しか知りませんが、どんどん応用を目指す方向に進むと実用性に合わせて理論が煩雑になってしまうんでしょうね。最近の計算論的学習理論（？）も応用を完全に無視した研究に関しては比較的綺麗にまとまっている感じはします。