ノンプロ研初心者向けプログラミング講座12期【Python コース】第5回

コミュニティ「ノンプログラマーのためのスキルアップ研究会」Python初心者 コース第12期第5回のツイートまとめです。 コンテンツは「スクレイピング基礎」です。
5
そういちろう @black777cat

よく自社のサイトをスクレイピングして情報収集してます。 これなら他人に迷惑を掛ける心配はまぁないかなと。 #ノンプロ研 #Python講座

2024-04-30 20:21:40
hagy4nonpro @hagy4nonpro

Anacondaの同梱ライブラリで、PythonからHTTP通信を行うためのrequestsモジュール。 pipでももちろんインストールできます。 #ノンプロ研 #Python講座

2024-04-30 20:21:46
alice @alice37308108

スクレイピングは基本的にgetリクエストを使う #ノンプロ研 #Python講座

2024-04-30 20:22:03
keikei @keikei20221234

requests.get(url) がスクレイピングで一番良く使う #ノンプロ研 #Python講座

2024-04-30 20:22:10
hagy4nonpro @hagy4nonpro

GETメソッドのみでよいのはWebAPIでの取得にはない利点ですね。 #ノンプロ研 #Python講座

2024-04-30 20:23:03
いわプロ @c11z3wcxZWQ8EJ9

ここむずかしい! 返ってきたのを定数にするから 1度に2つのことをやるやつですね #ノンプロ研 #Python講座 pic.twitter.com/EX9lD6u6Tk

2024-04-30 20:24:17
拡大
拡大
alice @alice37308108

・requestsモジュールをインポートして ・URLを指定して ・指定したURLにgetリクエストをして ・返ってきたResponseオブジェクトのテキストを表示する #ノンプロ研 #Python講座 pic.twitter.com/c8ihmetD0b

2024-04-30 20:27:32
拡大
hagy4nonpro @hagy4nonpro

レスポンスrのテキスト内容を取得する場合、HTMLファイルのコードをテキストとして取得している感じですね。 #ノンプロ研 #Python講座

2024-04-30 20:28:37
そういちろう @black777cat

リクエストで失敗すると後の工程で何もできないので、ここはしっかり抑えておきましょう #ノンプロ研 #Python講座

2024-04-30 20:28:46
あり @AriNonpro

ステータスコードはリクエストの結果を表す #ノンプロ研 #Python講座

2024-04-30 20:33:11
alice @alice37308108

ステータスコード、めっちゃ大事💡 requestsモジュールを使うときはいつも見ています。 #ノンプロ研 #Python講座 pic.twitter.com/MmtwGG3Jvu

2024-04-30 20:34:19
拡大
そういちろう @black777cat

リクエスト投げるとコケることもあるので、できればレスポンスの結果によってサイドリクエストを何回かするようにしておくと安定します #ノンプロ研 #Python講座

2024-04-30 20:34:21
ハナ@DATA Saber @DataAbyssWalker

ステータスコードでリクエストが成功したのかエラーになったのかがわかる #ノンプロ研 #Python講座

2024-04-30 20:36:50
hagy4nonpro @hagy4nonpro

Webアプリ開発ではサーバーエラー500をよく見ます。 #ノンプロ研 #Python講座

2024-04-30 20:37:04
hagy4nonpro @hagy4nonpro

404エラーでもHTMLデータが取れてしまうので、raise_for_statusで確認する。 #ノンプロ研 #Python講座

2024-04-30 20:38:44
ハナ@DATA Saber @DataAbyssWalker

raise_for_status()で「リクエスト成功」以外の場合にエラーを生じさせて処理を中断できる #ノンプロ研 #Python講座

2024-04-30 20:39:37
alice @alice37308108

GETリクエストでパラメータを渡すとき ⇒requests.get(url, params=payload) ⇒payloadは辞書で指定する #ノンプロ研 #Python講座 pic.twitter.com/gibf7V3WLK

2024-04-30 20:42:17
拡大
alice @alice37308108

どのようなパラメータを渡せるかはサイトによって違うというのがドハマりポイントですね😭 #ノンプロ研 #Python講座

2024-04-30 20:43:36
いわプロ @c11z3wcxZWQ8EJ9

APIは中身が見えなかったけど スプレイピングは文字ばっかり。 #ノンプロ研 #Python講座

2024-04-30 20:44:12
hagy4nonpro @hagy4nonpro

requestsにはpostメソッドもありますね。 paramsでJSONを渡してWebAPIとのやりとりもできます。 #ノンプロ研 #Python講座

2024-04-30 20:49:10
よね @h_yonesan

そうか、サイト内検索はGETリクエストをしているのか。。意識したことが無かったな。。 #ノンプロ研 #Python講座

2024-04-30 20:49:51
hagy4nonpro @hagy4nonpro

続いてHTML解析。 BeautifulSoupを使います。 #ノンプロ研 #Python講座

2024-04-30 20:52:32