重要なお知らせ

現在、TogetterのTwitterログインがTwitterにより凍結されており、ログアウトするとログインができない状態です。まとめ等には影響ありませんので、復旧をお待ち下さい。Twitterに解除を申請中です。

自然言語処理・機械学習・帰納推論

自然言語処理における機械学習と、それに関連した帰納推論の論理学についてのつぶやきをまとめました。厳密な時系列にはなってません。
TuvianNavy 4323view 2コメント
13
ログインして広告を非表示にする
  • yoriyuki @yoriyuki 2010-09-18 22:41:23
    言語処理のための機械学習入門」を読み始めたけど、早速詰まってしまった。凸計画問題って、評価関数が上に凸なときも下に凸なときも含むんだよね?ってWikipediaにそう書いてあるか。
  • yoriyuki @yoriyuki 2010-09-18 22:41:00
    ラグランジュの未定乗数法とか、昔習ったよなあ。でも習ったときはあまり納得がいかなかった覚えが。
  • yoriyuki @yoriyuki 2010-09-19 14:55:07
    「言語処理のための機械学習入門」続き。KLダイバージェンスと自己相互情報量の使い道の違いが分からないな。前者が分布に対して、後者が個々の変数値に対する概念であることは分かるのだけど。
  • yoriyuki @yoriyuki 2010-09-19 23:01:27
    「言語処理のための機械学習入門」Viterbi紹介のところまで。計算のところや擬似コードを適当に読み飛ばしているので、あまりいい読み方じゃないけど。
  • yoriyuki @yoriyuki 2010-09-19 23:05:47
    ところでn-gramを素性として扱うとき、例えば例として使われている”nuture passes nature"は(nuture, passes), (passes, nature)の素性を持つことになる。でもpassesが2回出てきているのが気持ちが悪いんだけどなあ。
  • yoriyuki @yoriyuki 2010-09-19 23:06:51
    つまり(nuture, passes), (passes, nature)の素性は独立じゃない気がするんだけど、変なことは起きないんだろうか。
  • 状態(の変化)* @TuvianNavy 2010-09-07 20:57:56
    機械学習の研究史ってどうサーベイすりゃいいんだ GoldやAngluinの帰納推論からブラックマンデ―頃のCMUの研究動向を繋ぐ道を知らない
  • 状態(の変化)* @TuvianNavy 2010-09-30 01:11:40
    Solomonoff(1956) が「足し算を学習する機械」の実装を与えているのだがこれがまた辛い代物で しかしこれを読まないとまったくにっちもさっちもいかない
  • いちまさん @itimasan 2010-10-02 23:30:01
    純粋な数学(てゆうか何て言えばええんかわからへんけど…)やってるお人らは、統計学や機械学習についてどう思てはるんやろねー。良かったら聞かせて下さい。実際使うてる本人ですら「ちょっとこれどうなんやろ?」て無茶な仮定置いて使ったりすることも多いんよね…言い出したらナイーブベイズとか
  • いちまさん @itimasan 2010-10-02 23:43:36
    集合論とか群論とか、使えるようになるて言う前に、何が嬉しいんかウチでは全く理解できひん…使い道すら思いつかへん。けど、トップの機械学習のお人らはそういう所まで手を出してはるんよね-。うーん、いつかはそこまで勉強せなあかんねやろねー。いつかは。まぁ、今は目の前の基礎統計を学びまひょ
  • いちまさん @itimasan 2010-10-02 23:39:53
    テキストマイニングしっかりやろ思たら、更に深い自然言語処理やらなあかん言われて、それを頑張ってたら自然言語処理屋さんから機械学習やらなあかん言われて、泣きながら勉強してたら、機械学習屋さんから純粋な数学やらなあかん言われて、もう全く手が出されへん領域まで来たねー…
  • いちまさん @itimasan 2010-10-02 23:46:07
    あと自然言語処理屋さんから言語学もやらなあかん言われて、とりあえず「はじめての言語学」だけは読んだけど…そっちまで手を出してたら人生4つぐらいあっても確実に足りひんやろー…やること一杯やねー。実務家としてプログラミングもやらんといけんねー…うーん、いっぱいいっぱいあるー
  • Funyako Funyao @D946_2 2010-10-02 23:37:40
    @itimasan 渡辺澄夫先生の本とか面白いですよ。彼は数学→情報学と渡った人で、数学的に学習理論を研究されてます。
  • Takayuki Kihara @tri_iro 2010-10-02 23:38:31
    現代的な機械学習については全く知らないけど、E.M.Goldが1960年代にやってたような素朴な極限同定あたりのレベルの話題なら好き > http://twitter.com/#!/itimasan/status/26178592967
  • yoriyuki @yoriyuki 2010-10-03 00:03:16
    @tri_iro いわゆる計算論的学習理論と、今実用で使われている機械学習とはかなり乖離しているという印象を持っています。どちらも表面的にしか知らないですが。
  • yoriyuki @yoriyuki 2010-10-03 00:04:30
    Support Vector Machineとか、超平面で分離するだけですからね。
  • Hiroyuki Miyoshi @metaphusika 2010-10-02 23:56:07
    その辺に関わる論理は林晋先生が研究されてますね。 RT @tri_iro: 現代的な機械学習については全く知らないけど、E.M.Goldが1960年代にやってたような素朴な極限同定あたりのレベルの話題なら好き > http://bit.ly/cIdrwS
  • Takayuki Kihara @tri_iro 2010-10-03 00:01:08
    @metaphusika そういえば林晋先生の極限計算可能性に関連する論理の話はちらっと見たことがあります。あと八杉先生も計算可能性解析で機械学習(帰納推論)を用いた計算可能関数の研究をやってらっしゃいましたね。
  • Hiroyuki Miyoshi @metaphusika 2010-10-03 00:17:21
    @tri_iro 極限計算可能性の論理はもともとは林先生の仕事ですね。学習理論との関係は山本章博先生との議論で色々明確になったようです。そこに八杉先生が別にやっていた計算可能性解析学の研究が加わったと。あとはだいぶ前から小林聡さんもゲーム意味論でその論理の研究に加わっています。
  • yoriyuki @yoriyuki 2010-10-03 00:07:57
    @metaphusika あれって学習なんですかねえ。普通の機械学習はデータセットから述語なりなんなりを学習するわけですが、林先生のはそういう意味での学習ではないですからね。厳密には学習じゃないんだと、林先生自身も言っておられた気がします。
  • Hiroyuki Miyoshi @metaphusika 2010-10-03 00:23:41
    @yoriyuki まあ何が学習かということ自体色々な立場があるようですのではっきりとは言えませんが,Plotkinが昔やっていたような帰納的学習との対応は機械学習が専門の山本章博先生と議論して明確になったようです。その結果,厳密には学習ではないとおっしゃられているのかも。
  • yoriyuki @yoriyuki 2010-10-03 00:47:01
    @tri_iro @metaphusika そういえば龍田真先生もされていたと思います。林先生はわりと哲学的なことをやっていて、そこから出てきた問題を龍田先生やBerardiさんが解くっていう感じだったかなあ。まあいろんな人がやってましたけれども。
  • yoriyuki @yoriyuki 2010-10-03 00:26:09
    @metaphusika 私もイタリアにいた頃ちょっとやりました。 http://bit.ly/aCB1QC
  • いちまさん @itimasan 2010-10-03 00:05:36
    .@tri_iro うーん、60年代がどんなもんやったんか残念ながらウチは知りまへんけど、昔の機械学習はもっと綺麗でしたねー。今は精度を求めるために、えらい枝葉を追い求めてモデルも煩雑になってる上、コンピュータの進化のおかげでなんのかんの言うても力技最強説が罷り通ってる時代ですね
  • Takayuki Kihara @tri_iro 2010-10-03 00:18:48
    @itimasan 僕も60年代の話はGoldのオリジナルの奴しか知りませんが、どんどん応用を目指す方向に進むと実用性に合わせて理論が煩雑になってしまうんでしょうね。最近の計算論的学習理論(?)も応用を完全に無視した研究に関しては比較的綺麗にまとまっている感じはします。

コメント

カテゴリーからまとめを探す

「学問・教養」に関連するカテゴリー

ログインして広告を非表示にする
ログインして広告を非表示にする