-
- いいね！7
keno
@keno_ss
「分散表現はユニタリ不変. 古典的にはカウントベースの行列分解. (LSA など) NN ベースも暗黙的に行列分解(Skip-gram, GloVe)」 #neurips18yomi
2019-01-26 13:58:12
西村拓哉
@t_nishimura1989
2発表目，単語分散表現の最適な次元数を理論的に求めましたよという論文．単語分散表現はユニタリ行列とか前提の時点でけっこうびびってる． 後で真面目に読もうかな #neurips18yomi
2019-01-26 13:59:32
Shohei Hido 比戸将平
@sla
すみませんYoutube配信のURLが変更になりました。 #neurips18yomi youtube.com/watch?v=DG80WS… ネットワークの不調に付き再接続した影響によります。ご迷惑おかけします。 twitter.com/sla/status/108…
2019-01-26 14:00:14
Takayuki Saruta
@srt_taka
youtubeもまた不調がありましたらお知らせください。ご迷惑をおかけします。 #neurips18yomi
2019-01-26 14:04:35
岡本大和 / Yamato.OKAMOTO / RoadRoller
@RoadRoller_DESU
単語分散表現の最適次元を理論的に求めましたよという論文。最適次元があったんだー、というだけで感動。（理論的部分はすぐには、うん、わからん #neurips18yomi papers.nips.cc/paper/7368-on-… pic.twitter.com/J0m9NhMEpV
2019-01-26 14:08:18
拡大
拡大
keno
@keno_ss
(k は多分埋め込み次元?) 特異値が小さい方(k+1, ..., d (最後)) はバイアス項, 大きい方(1, ..., k)はバリアンス項. #neurips18yomi
2019-01-26 14:08:23
FF
@fujifog
単語分散表演に最適な数があるということを示しててすごい． 目的行列と訓練行列間のフロベニウスノルムを最小化すると分散表現ベクトル数kが出てくるらしいのか？理論わからん．．． #neurips18yomi
2019-01-26 14:12:56
西村拓哉
@t_nishimura1989
マジで全然理解できていないし本文を読めばいいんだけど，「単語の」分散表現の話としていたけど，他のもの（例えば検索時における文書の分散表現など）についても同じ理論が成り立ちそうなので応用範囲広そうな話だった #neurips18yomi
2019-01-26 14:14:55
せいしん | ACES, Inc.
@seishin55
On the Dimensionality of Word Embedding 単語分散表現の次元数は重要->理論的ではなく経験的に次元数を決めていた(300次元付近)->最適なものがあるなら知りたい。 単語の埋め込みに最適な次元数を示す。単語行列の表現行列のi番目とj番目の内積をとったPIP行列に着目。 #neurips18yomi
2019-01-26 14:15:15
せいしん | ACES, Inc.
@seishin55
これを使ってPIP損失を定義。 (分散表現はユニタリ不変。Skip-gramも暗黙的に行列分解。、、らしい） #neurips18yomi
2019-01-26 14:15:31
keno
@keno_ss
木村優志(Convergence Lab.) さんによる "Dialog-to-Action: Conversational Question Answering Over a Large-Scale Knowledge Base" #neurips18yomi
2019-01-26 14:16:46