Twitterのデータを使ってテキストマイニングしたい! ~twitter APIとrtweet~

テキストマイニングのためにtwitterのデータを使いたいと思ったのですが、なかなかハードな道のりでした。同じ道を歩くひとがいたときのために、覚え書きを残しておきます。
11
植田麦ゼミ @baku_semi

どうにかこうにか、RでTwitterのスクレイピングができるようになりました。死ぬほど面倒だったのですが、今後、同様のことをしたいひとのためにメモを残しておきます。 というか、うちのゼミ生はできるようになってください。(B)

2019-07-03 13:06:59
植田麦ゼミ @baku_semi

1)まず、twitterのアカウントを作ります。このとき、必ず電話番号を登録してください。最近は電話番号設定がデフォルトなんでしたっけ?

2019-07-03 13:07:08
植田麦ゼミ @baku_semi

2)次に、RとRStudioをインストールします。現時点での最新版はver.3.6.0です。これも、最新版を入れておかないと、パッケージのインストールに失敗するかもしれません。 R:cran.ism.ac.jp RStudio:rstudio.com/products/rstud…

2019-07-03 13:07:18
植田麦ゼミ @baku_semi

3)RStudioをたちあげて、関連パッケージをインストールします。 install.packages("rtweet") でインストールできます。

2019-07-03 13:07:27
植田麦ゼミ @baku_semi

4)Twitter APIの登録をします。これが一番面倒です。 qiita.com/kngsym2018/ite… torikun.com/entry/twitter-…

2019-07-03 13:07:37
植田麦ゼミ @baku_semi

5)登録したら、たぶん、改めて使途なんかを確認するメールが届きます。 メールの手順にしたがって、4)で書いたことを改めて書くことになります。日本語で。

2019-07-03 13:07:50
植田麦ゼミ @baku_semi

6)API登録が完了したら、appの登録をします。 apibank.jp/contents/howto… このあたりが参考になります。appの名前は半角英数で空白なしがいいかもしれません。なお、callback URLに、ダミーでいいので何かいれておいたほうがいいかも。わたしは自分のtwitterのホームのURLを入れました。

2019-07-03 13:07:59
植田麦ゼミ @baku_semi

7)appから各種情報(Consumer Key (API Key)、Consumer Secret (API Secret)、access_token、access_secretを確認します。 qiita.com/daifuku_mochi2… messyer813.com/entry/2018/07/… このへんが参考になります。

2019-07-03 13:08:14
植田麦ゼミ @baku_semi

8)なお、諸々のサイトをみるとAPI keyとAPI secretだけでどうにかなってるように書いてるのですが、わたしは「荷物もちでもかまわない」さんに紹介されているように、acces関係のデータも入れたら、ようやくどうにかなりました。

2019-07-03 13:08:21
植田麦ゼミ @baku_semi

9)あとは、これまでに参考にしたサイトにのっとって、スクレイピングをするだけです。 shohei-doi.github.io/notes/posts/20… このサイトが網羅的で見やすいです。 なお、パッケージtwitterRを使う方法もあるようですが、最新版のRだとパッケージのインストール自体ができません。

2019-07-03 13:08:34
植田麦ゼミ @baku_semi

(10)なお、特定アカウントのツイートのみを抽出したい場合は、Rを使わなくても、TwimeMachineでどうにかなるかもしれません。twimemachine.com rinyan.net/twimemachine-d…

2019-07-03 19:06:39
植田麦ゼミ @baku_semi

(11)あと、Twitter API設定で色々と英文を書かねばならなかったのですが、みらい翻訳がめちゃくちゃ役立ちました。miraitranslate.com/trial/ ちょっと前に、誰も読まないのに英文を書かなければならない必要があったのですが、その際もお世話になりました。

2019-07-03 19:10:33