*.compute.amazonaws.com、そは何者？

H.Sakai 🚲UberEats大阪🍔🍱🍜 @FoD5

twitterでurlをつぶやくと、ほぼ直後に複数の*.compute.amazonaws.comのBotがそのurlをクロールしにくる。amazonawsはamazonのAWSを使ったcloudサービス。　

H.Sakai 🚲UberEats大阪🍔🍱🍜 @FoD5

amazon自体が何かをしてるわけでなくて、誰かがAWSを使ってtwitterでつぶやかれたうurlを収集しているということ。正確に言うと収集してるだけでなく、アクセスしている。収集しているだけのbotはもっと多いかもしれない。

H.Sakai 🚲UberEats大阪🍔🍱🍜 @FoD5

そうしたbotがどうやってurlを含んだtweetを見つけてるのかはわからない。twitterの全ツイートを拾えるAPIってあるんだろうか？ないような気がする。たぶん、特定のキーワードで検索してるんじゃないかと思う。

H.Sakai 🚲UberEats大阪🍔🍱🍜 @FoD5

その証拠に、一つのurlにまったく同じIPアドレスの*http://t.co/UHhFp1fnボットが二回アクセスしてくることがある。

H.Sakai 🚲UberEats大阪🍔🍱🍜 @FoD5

あーー、違った。さっきの仮説取り消し。いまｕｒｌだけを呟いてみたら、やっぱり5件（うち2件は同一IPアドレス)の*http://t.co/DIp8A5Ypからクロールされた。特定のキーワードで検索しているわけじゃないみたい。

H.Sakai 🚲UberEats大阪🍔🍱🍜 @FoD5

となると可能性は、クローラがtwitterの全tweet（もしくは一部にせよ網羅的に）を取得しているか、それとも私のIDが追跡されてるかだな。ちょっと別アカウントで呟いてみよう。

H.Sakai 🚲UberEats大阪🍔🍱🍜 @FoD5

いま、別ID（0ツイート、0フォロー、0フォロワー）のアカウントからurlだけのつぶやきをしてみたら、3件(2IPアドレス)の*http://t.co/zqylEPmXからのアクセスがあった。

H.Sakai 🚲UberEats大阪🍔🍱🍜 @FoD5

5件と3件の差は気になるけど、少なくとも特定のIDを追ってるわけではなさそうである。ちなみに別アカウントの方はtwitter公式からのツイート（こっちはTweetDeckから）。やっぱりある程度網羅的ないし全tweetをチェックしてるようだ。

H.Sakai 🚲UberEats大阪🍔🍱🍜 @FoD5

twitterのAPIの仕組みはあんまり詳しくないので、どうやってtweetすべて（ないしある程度網羅的に）を拾ってるのかはわからないけど、少なくともAWS使って相当無差別にtweetを収集しているbotが複数あることはわかった。

H.Sakai 🚲UberEats大阪🍔🍱🍜 @FoD5

あ、収集するだけでなくて、そのurlにアクセスするbot、だった。わざわざアクセスする目的はなんだろね？よくわからん。

H.Sakai 🚲UberEats大阪🍔🍱🍜 @FoD5

特定のキーワードを含むtweetを収集するクローラは、それはもう鬼のようにある。なんかつぶやくと反応してくるbotがそうだし、反応せずに黙ってどこかのサーバにデータ集積するbotはもっと多いだろう。ていうか私もそのうち二、三そういうのを作るし。

H.Sakai 🚲UberEats大阪🍔🍱🍜 @FoD5

あー、そうか。普通に考えれば、わざわざアクセスする理由はそのurlが生きているか、有効なurlであるか、のチェックか。無意味な文字列をはじく目的で。

H.Sakai 🚲UberEats大阪🍔🍱🍜 @FoD5

だとすれば、urlを収集されたくなけれれば、phpか何かで *．ａｍａｚｏｎａｗｓ．ｃｏｍからのアクセスには無効なhttpステータス返すとかの方法はある。面倒だけど。