第3回Webスクレイピング勉強会@東京のまとめ
-
- いいね！2
nezuq
@nezuq
第3回Webスクレイピング勉強会@東京（最終回）を本日14時より開催します。ご予定が合わなくなった方にはキャンセル頂いたので、今ならご参加頂けます。TV出演者や著者、マスコミの方など最終回に相応しい方々の講演です。tokyoscrapper.connpass.com/event/9023/ #東京スクラッパー
2014-10-26 09:48:42
nezuq
@nezuq
スクレイピングのプロであるluminさんの発表。上級者向けをお願いしました。 / 第3回Webスクレイピング勉強会@東京（最終回） tokyoscrapper.connpass.com/event/9023/ #東京スクラッパー
2014-10-26 14:21:03
kitanow
@m_kitano
javascript動的コンテンツはクローリングしにくい、ブラウザでクローリングする場合はfirefoxがよい #東京スクラッパー
2014-10-26 14:30:26
Takuro SASAKI
@dkfj
ガラケーのみのサイトにクローリング。キャリアのIPアドレスのみ制限されている。あまり、近寄りたくない分野だなｗ #東京スクラッパー
2014-10-26 14:32:10
Takuro SASAKI
@dkfj
スマホサイトのクローリング。ユーザエージェントの変更くらいでは上手くいかないケースがある。JavaScriptでnaviago.userAgentもしくはOrientation。そんな場合は、Androidのリモート・コントロール #東京スクラッパー
2014-10-26 14:34:59
kitanow
@m_kitano
国によって制限されているサイトは海外のVPS、クラウドを借りてクローリングする、但し海外のサービスは日本と比べて高い #東京スクラッパー
2014-10-26 14:37:48
Takuro SASAKI
@dkfj
国ごとの制限。日本と外国では見え方が違う場合がある。その場合は、海外のVPS・クラウドを借りる。通信料に注意 #東京スクラッパー
2014-10-26 14:38:25
Takuro SASAKI
@dkfj
P2Pクローラー。この辺りに手をだしたことないなぁ。そもそも、P2P自体を殆ど使ってないから。しかし、仕組みを知るのは面白そう。 #東京スクラッパー
2014-10-26 14:48:53
Takuro SASAKI
@dkfj
勉強の際に、クローラー本お勧めして頂けた。ありがとうございます。 "Rubyによるクローラー開発技法" amzn.to/1lsJ5id #東京スクラッパー
2014-10-26 14:58:09
lumin
@lumin
クローリングしにくいものに挑戦 公開用 #crawlerproxy #東京スクラッパー slideshare.net/luminhacker/ss… @SlideShareさんから
2014-10-26 15:02:39
Kenji TAKANO
@Kenji_TAKAN0
一本目、スクレイピング初心者な自分には、まだ行っていない遥か先の話だった…話の内容はとても楽しい。 #東京スクラッパー
2014-10-26 15:04:28
y-uti
@y__uti
ウェブスクレイピング勉強会#3 に参加中。初っ端からクローリングの話がとても面白かった。私は普段から HTTP で苦労せずに取れる範囲の情報しか使っていないので、これは何というか別世界。#東京スクラッパー
2014-10-26 15:08:23