第5回自然言語処理勉強会 #TokyoNLP

hiroshi @mutuki

ぼちぼち開始らしい。 #tokyoNLP

Yoh Okuno @yoh_okuno

第5回自然言語処理勉強会勉強会、始まります。 #TokyoNLP

人間性 @toilet_lunch

東京NLPのustです。 #TokyoNLP http://www.ustream.tv/channel/%E6%9D%B1%E4%BA%ACnlp

hiroshi @mutuki

最初は @machy さんの「n-gramを小さくする話を調べてみた」だそうです。 #tokyoNLP

Yoh Okuno @yoh_okuno

最初は @machy さんの「n-gramを小さくする話を調べてみた」 #TokyoNLP

hiroshi @mutuki

今日の題材は n-gram確率（言語モデル）のほう。もう少し言うと文字n-gramのお話。 #tokyoNLP

KOMIYA Atsushi @komiya_atsushi

今回の n-gram は単語単位とのこと。 #TokyoNLP

Yoh Okuno @yoh_okuno

google n-gramは高いので @s5yata さんの日本語Webコーパスを圧縮 #TokyoNLP

hiroshi @mutuki

ターゲットはメモリ使用量を小さくする。圧縮して小さくしても展開時に大きいとあまり嬉しくない。 #tokyoNLP

KOMIYA Atsushi @komiya_atsushi

n-gram のコーパスを公開していらっしゃるやたさん、marisa-trie の人かあ。 #TokyoNLP

hiroshi @mutuki

Google n-gramって4万円なのか…個人で買え…いやいやいや買わない買わない（自己暗示中） #tokyoNLP

人間性 @toilet_lunch

ustがめちゃめちゃでかい疑惑 解像度落とします #TokyoNLP

hiroshi @mutuki

普通というか富豪的に組むと3gramで12GBか…頑張ったら4GBまで削減可能。 #tokyoNLP

Akisato Kimura @_akisato

#TokyoNLP も見たいなぁ　（欲望は果てしない

Yoh Okuno @yoh_okuno

Quontization-based Language Model Compression(2001) #TokyoNLP

KOMIYA Atsushi @komiya_atsushi

頻度情報を量子化するとなると、その分精度を犠牲にする、ということかな？ #TokyoNLP

人間性 @toilet_lunch

画質がかなり悪いですが http://t.co/QQWZLkk #TokyoNLP

KOMIYA Atsushi @komiya_atsushi

よく現れる「頻度」に対して、多くの代表値を割り当てる。Huffman 符号に似ているなあ。 #TokyoNLP

hiroshi @mutuki

Looyd's アルゴリズムか…量子化して4byteで表せる頻度（約43億）を2byte（65,536）種類の値で代表させる。 #tokyoNLP

hiroshi @mutuki

2byteで溢れちゃったら4byteにする。この際に単語IDソートを利用してLookupテーブルを使って圧縮してる #tokyoNLP

Yoh Okuno @yoh_okuno

Compressiong trigram language model using golomb coding(2007) #TokyoNLP

KUBOTA Yuji @sugarlife

Lloyd-Max algorithmによるn-gram圧縮 Quantization-based Languange Model Compression : http://t.co/IXQeXUS #TokyoNLP

hiroshi @mutuki

3gramをハッシュ値でインデキシング。ソートして隣接要素の差分をGolomb符号で圧縮するテクニック。この場合WordIDを格納する必要がない。 #tokyoNLP

hiroshi @mutuki

衝突とのトレードオフ? エントリ総数の2万倍あたりの素数を使って衝突確率を2万分の1にして回避している。これ、MS-IMEのチームが作っているのかー。 #tokyoNLP

hiroshi @mutuki

LOUDSを使用した木構造を表すテクニック。普通に組むと5.3bit使うところを2.4bitまで節約できる。 #tokyoNLP