-
shima__shima
- 3704
- 0
- 1
- 0
-
- いいね！0
しましま
@shima__shima
Students, Teachers, Exams and MOOCs: MOOCで学生と講師の能力，課題の難しさを要因に，学生が正答を知っていれば正答を，そうでなければランダムに答える確率モデル．隠れ変数の要因で学生の性質と成績の関係や，講師と学生の相性などの予測が可能になる．
2014-09-17 01:10:44
しましま
@shima__shima
Approximating the Crowd クラウドソーシングで，ラベラー全員に聞かずに，限られた人にラベルを聞けば，全員に聞いたのと同じ結果が得られるようにする．εgreedy的な方法と，加えても結果に影響のない人は加えないという操作
2014-09-17 01:10:51
ガッキーのプライベートアカウント
@azaazarashi
@oikomi_taro Beyond stochastic gradient descent for large-scale machine learning
2014-09-17 15:57:46
ガッキーのプライベートアカウント
@azaazarashi
@oikomi_taro ﾋﾞｸﾞﾃﾞｰﾀ、次元pもデータ数nも大きいから、O(pn)の学習アルゴリズム欲しいよね、と
2014-09-17 16:10:11
ガッキーのプライベートアカウント
@azaazarashi
@oikomi_taro グラディエントディセント、普通の凸関数だとO(1/t)、きょうとつだとO(e^{-t})くらい
2014-09-17 16:21:40
ガッキーのプライベートアカウント
@azaazarashi
@oikomi_taro 勾配のunbiasedな推定量で最適化する = stochastic approximation
2014-09-17 16:24:54
ガッキーのプライベートアカウント
@azaazarashi
@oikomi_taro Polyak-Ruppert averaging = SGD の各ステップのパラメタの平均値
2014-09-17 16:27:08
ガッキーのプライベートアカウント
@azaazarashi
@oikomi_taro なめらか凸関数の最適化で、収束レートがどんな場合もO(1/n)のアルゴリズム欲しい〜〜〜〜〜
2014-09-17 16:31:37
ガッキーのプライベートアカウント
@azaazarashi
@oikomi_taro ロジスティックロスだと、コンスタントステップサイズ、平均化をしても変なところに収束すると
2014-09-17 16:42:24
ガッキーのプライベートアカウント
@azaazarashi
@oikomi_taro ニュートン法、各ステップで関数を二次関数で近似するから、これを使ったらコンスタントステップサイズ＆平均化でうまくいきそうだよね
2014-09-17 16:43:58
ガッキーのプライベートアカウント
@azaazarashi
@oikomi_taro オンラインニュートン、収束レートはO(n^{-1})、complexity O(p) （？）
2014-09-17 16:45:12