Togetter/min.tを安心してお使い頂くためのガイドラインを公開しました。

深層学習と非滑らかさ

まとめました。
14
TJO @TJO_datasci

arXivの原論文読んだ時は数式がさっぱり分からなくて目から赤い塩水流してたけど、この slideshareだとかなりの部分が分かって本当に面白かった。こういうDeepの理論的研究が読みたかったんだと実感した。有難うございます / 深層学習による非滑らかな関数の推定 slideshare.net/masaakiimaizum…

2018-02-15 21:18:27
TJO @TJO_datasci

そしてこれを読んでようやく「従来手法ではまるで精度が出ないがDeepだと何故かかなりの精度が出るデータセット」がどんなものである可能性があるかのヒントが得られた気がする。弊社のCloudブログでも紹介されている事例がまさにそれなんだけど、もしかしたら非滑らかな要素があったのかもしれない

2018-02-15 21:23:51
Kazunori Sato @kazunori_279

世の中のデータ、そんなに非滑らかなんだろーか。あるパラメータが、ある閾値を越えるとパチっと別の滑らかに切り替わり、そんなパラメータが大量に組み合わされてる感じ?

2018-02-15 21:50:18
TJO @TJO_datasci

@kazunori_279 もしそうなら不連続デザインというか層別回帰とかすればフィットしそうなんですが、それが人の目で見てもわからない時にこそDeepが活きるかもしれませんね。

2018-02-15 21:56:40
リンク www.juen.ac.jp 階層的線形モデル(HLM)について 2 users
Kazunori Sato @kazunori_279

@TJO_datasci なるほど、層別回帰のようなサイエンティストの技を自動化してくれる、って捉えられるのかな。そうするとよくあるおおざっぱな「特徴量抽出を自動化」って説明をきっちり定式的に定義できそうですね。

2018-02-15 22:00:29
TJO @TJO_datasci

@kazunori_279 ちょっとそこは掘り下げられるなら掘り下げてみたいというか、ズバリ @insou さんのご意見を伺いたいです。

2018-02-15 22:01:48
Kazunori Sato @kazunori_279

人が追いきれない数の交絡因子を見つけて、非滑らかさでぱちっと切り替えて層別解析してくれる…みたいな動き?

2018-02-15 22:17:05
いんそうさん @insou

@TJO_datasci @kazunori_279 はい、手法とかモデルの人力選択を自動化してくれている、というのはその通りだと思っています。 ただ、特徴量抽出には直接は繋がらないと思ってます。"一番良い手法を使った場合と同じ予測ができる" と "特徴量が抽出できる" の間にはギャップがあると思っているのですが、如何でしょうか。

2018-02-15 22:25:04
Kazunori Sato @kazunori_279

@insou @TJO_datasci ですね。「特徴量抽出を自動化」ではなく、「与えられた特徴量をどんなモデルで扱うか自動切り替えしてくれる」って理解でよいでしょうか?

2018-02-15 22:31:02
いんそうさん @insou

@kazunori_279 @TJO_datasci はい、私もそういう理解を持っています。

2018-02-15 22:34:27
TJO @TJO_datasci

@insou @kazunori_279 そこが、slideshare中で言及のあった「Deepは層を増やすことで対応できる」というお話に当たるんでしょうか?

2018-02-15 23:06:09
いんそうさん @insou

@TJO_datasci @kazunori_279 厳密には、”層を増やすことで、自動切り替えと同程度(もしくはそれ以上)の精度を出している” という感じで理解をしています(Deepが実際に切り替える動作をしているわけではないので)。

2018-02-15 23:18:01
TJO @TJO_datasci

@insou @kazunori_279 なるほどなるほど。参考になります。

2018-02-15 23:19:44

コメント

コメントがまだありません。感想を最初に伝えてみませんか?