第3回Webスクレイピング勉強会@東京のまとめ

Takuro SASAKI @dkfj

これから発表資料する資料です。難易度は低めです。 "AWSを利用してスクレイピングの悩みを解決するチップス" slideshare.net/takurosasaki/s… #東京スクラッパー

げんえい☕ @gennei

#東京スクラッパー / “Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス” htn.to/pMWtSn

江戸川基地局（再稼働中） @nhiro78

#東京スクラッパー 会社単位でBAN恐ろしい

nezuq @nezuq

Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例 amazon.co.jp/dp/4797380357/… @amazonJPさんから　#東京スクラッパー

げんえい☕ @gennei

google banには気をつけよう。特に学校、オフィスなど。 #東京スクラッパー

nezuq @nezuq

Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例 #東京スクラッパー amazon.co.jp/dp/4797380357/… @amazonJPから

ゆあ☆ミ @you21979

#東京スクラッパー グーグルのクロールは会社などの普段使う共有のIPでやるとbanされたときにグーグル使えなくなるからやらないほうがいい

ゆあ☆ミ @you21979

#東京スクラッパー sqsとクローラーは相性良さそう

lumin @lumin

google BANされてこそ一人前。#東京スクラッパー

lumin @lumin

クラウドはGUIやCUIをつかったら負けかなと思う。 #東京スクラッパー

kitanow @_mkitano

中小サイトは処理件数が20～30件/秒というのもあるので、多重度をあげないようにする、ですよねー #東京スクラッパー

江戸川基地局（再稼働中） @nhiro78

#東京スクラッパー RSSという言葉がすでに懐かしさを感じる

江戸川基地局（再稼働中） @nhiro78

#東京スクラッパー Firebug便利そう

Takuro SASAKI @dkfj

Perlあるあるになってるｗ殆ど同じ問題にぶつかってきたよ #東京スクラッパー

江戸川基地局（再稼働中） @nhiro78

#東京スクラッパー 先日Perlの勉強会で聞いたばかりのweb::query

江戸川基地局（再稼働中） @nhiro78

#東京スクラッパー Excel2013にしか無い機能だと思ってた

Takuro SASAKI @dkfj

Excelでスクレイピングはありだと思う。私も一番最初に作ったクローラーは、ExcelのVBAからIEを立ち上げるやつだった。 #東京スクラッパー

げんえい☕ @gennei

Excelでスクレイピングってなに言っているんだと思っていたけど、とても参考になった。 #東京スクラッパー

江戸川基地局（再稼働中） @nhiro78

#東京スクラッパー テーブルタグ最強

Takuro SASAKI @dkfj

ちなみにこんな本があるようですよ。読んでないけど、気になっています。 "Excel VBAでIEを思いのままに操作できるプログラミング術" amzn.to/1tzd8ff #東京スクラッパー

kitanow @_mkitano

Webは自然言語で出来ている、それを理解できれば新しい知識として獲得できる #東京スクラッパー

くーろん　coulomb @coullom

開催おつかれさまでした！NLPの方でもよろしくお願いします　#東京スクラッパー

Takuro SASAKI @dkfj

発表のお陰で、順位が大幅アップしたｗ 皆様、ありがとうございます。 "Rubyによるクローラー開発技法" amzn.to/1lsJ5id #東京スクラッパー pic.twitter.com/Iw2ISFRvY4

拡大

botisle @hi86074659

シェル芸は炸裂しなかったな #東京スクラッパー

botisle @hi86074659

ブラウザがIE に依存しないSelenium は 普通に検証で使ってみようと思っている #東京スクラッパー