NLPエンジニアによる自然言語処理の実用化にむけた勉強会

ikawaha @ikawaha

評価されるのが下手な人。なるほど 😇 #wap_tech

しゅんけー @shunk031

人材をベクトル化して検索するようなTalentSearchはよさそう。どんな仕事をやったかで学習させて、割り当てたい仕事とスキルの類似度を取る、みたいなイメージかな #wap_tech

Daisuke Haba @DaisukeHaba

資料は後ほど公開していただけるとのこと。 #wap_tech

Jun Ohtani @johtani

次は形態素解析の話。ちゃんと話聞くの初めてか？

ワークスアプリケーションズ 公式 @WAP_PR

NLP勉強会、形態素解析のトークが始まりました！茶筌を開発された高岡さんが講師です！＾＾ #wap_tech

Jun Ohtani @johtani

ちゃんとした自然言語処理の分類とか、形態素解析の話とか聴くの勉強になる。かなりショートカットしたりしてるからなぁ。

Eiichiro Iwata @eiichiroi

会場に形態素解析器を作ったことある人たくさんいそう((((；ﾟДﾟ)))) #wap_tech

Takahiko Ito @takahi_i

common prefix search に skip list を使うのは考えたことなかった。

Daisuke Haba @DaisukeHaba

「紹介するけど何ももらってませんw」 #wap_tech 日本語入力を支える技術　～変わり続けるコンピュータと言葉の世界 (WEB+DB PRESS plus) amazon.co.jp/%E6%97%A5%E6%9…

しゅんけー @shunk031

MeCabでJUMAN辞書使うとJUMAN自体よりも精度いいの気になるな #wap_tech

Jun Ohtani @johtani

形態素解析器の辞書の話。

Takahiko Ito @takahi_i

UniDic 再現できるような手続きでタグ付けしているらしい。ほおお。

Jun Ohtani @johtani

にわか自然言語処理な人間が頭が上がらそうな方々がいっぱいいるんじゃないか？説

しゅんけー @shunk031

教師なしの単語分割とかもちらほら見るけど、やっぱり辞書ベースより分割の方が自然な感じがする #wap_tech

Jun Ohtani @johtani

住所とかは専用パーサーかぁ。項目が分かれている場合はいいけど、そうじゃない場合はどーすんだろ？

Jun Ohtani @johtani

住所も時間によって変わるしなぁ。

ikawaha @ikawaha

辞書への単語追加。再学習しない。 #なるほど #wap_tech

Jun Ohtani @johtani

カタカナ語も大変だったりしないかなぁ。

Eiichiro Iwata @eiichiroi

URLとかも切れちゃって困ったりとか。あとはドメイン適応がもっと簡単にできるといいなあ、と思ったり

Takahiko Ito @takahi_i

使いやすい形態素解析器 #wap_tech

Jun Ohtani @johtani

#wap_tech 品詞は確かに細かいのいらないよなぁ。地名かどうかくらいかなぁ。ただ、人名と地名被ってるのもあるし。

Jun Ohtani @johtani

#wap_tech あー、分割の粒度違うよね。辞書によって調整するのかなぁ？

Eiichiro Iwata @eiichiroi

再学習はしない（ブレて収集がつかない）、ということだけど、ある程度ロバストな再学習はできてほしい気がする（ムズいんだろうけど…） #wap_tech

Jun Ohtani @johtani

#wap_tech お、新しい形態素解析器だ。Sudachi

Jun Ohtani @johtani

#wap_tech なんでJavaなんだろ？