ノンプロ研初心者向けプログラミング講座第8期【Python コース】第5回
-
- いいね！0
こはた｜Python、GAS勉強中
@kohaku935
スクレイピングの注意事項一覧 qiita.com/nezuq/items/c5… #ノンプロ研 #Python講座
2022-05-02 22:03:43
こはた｜Python、GAS勉強中
@kohaku935
スクレイピングの法律周りの話をしよう。 qiita.com/nezuq/items/3c… #ノンプロ研 #Python講座
2022-05-02 22:03:52
こはた｜Python、GAS勉強中
@kohaku935
スクレイピングとクローリングの違い。 geekly.co.jp/column/cat-tec… #ノンプロ研 #Python講座
2022-05-02 22:04:04
な～＠ぱいそん🐍
@PythonNao703
次はHTTP通信について #ノンプロ研 #Python講座 Webブラウザが、Webサイトの内容をブラウザに表示するためのしくみ。 １．URLより、Webサーバーを探し出す ２．ページを指定してHTTPリクエストする。誰から？どんな？ ３．リクエストにもとづいてHTTPレスポインスを返す ４．ブラウザが解析して表示 pic.twitter.com/3gXNytnXKH
2022-05-02 20:22:58
拡大
な～＠ぱいそん🐍
@PythonNao703
スクレイピングの手順 #ノンプロ研 #Python講座 pic.twitter.com/TtxpSwYtRs
2022-05-02 20:23:42
拡大
Shin8
@nonpro_shin8
スクレイピングの手順 ①URLにリクエストする ②Webサーバーからのレスポンスを受け取る ③レスポンスから欲しいデータを取り出す requestsモジュールで①②ができます。 ※インストールは不要 #ノンプロ研 #Python講座
2022-05-02 20:24:56
な～＠ぱいそん🐍
@PythonNao703
ブラウザがrequestsになるイメージですね👀 #ノンプロ研 #Python講座 pic.twitter.com/YKGBbsBqwL
2022-05-02 20:25:20
拡大
な～＠ぱいそん🐍
@PythonNao703
GETリクエストは、単純にレスポンスを返してもらってサイトを表示するイメージ リクエストには、POST・PUT・DELETEなどいくつかの種類があります👀 #ノンプロ研 #Python講座 pic.twitter.com/RZKb5LAEC7
2022-05-02 20:27:11
拡大
な～＠ぱいそん🐍
@PythonNao703
rはResponsオブジェクト text：テキストデータ encode：テキストの文字コード status_code：レスポンスのステータスコード raise_for_status：エラー内容 #ノンプロ研 #Python講座 pic.twitter.com/brbB9ZI6TK
2022-05-02 20:29:14
拡大
Shin8
@nonpro_shin8
requestsモジュールの使い方 ①requestsモジュールをインポート import requests ②GETリクエストをしてレスポンスを受領 requests.get(url) ③受領したResponseオブジェクトからデータを抽出 例) Responseオブジェクト.text #ノンプロ研 #Python講座
2022-05-02 20:29:21
な～＠ぱいそん🐍
@PythonNao703
Responseオブジェクト.text レスポンスに含まれるコンテンツ＝HTML #ノンプロ研 #Python講座
2022-05-02 20:31:06
な～＠ぱいそん🐍
@PythonNao703
連続の写経タイム✨ #ノンプロ研 #Python講座 みなさん、Pythonで隣ITのサイトデータを取得できています👀
2022-05-02 20:34:12
な～＠ぱいそん🐍
@PythonNao703
404 Not Foundとか 403 Forbiddenとか 出てくると嫌なイメージ #ノンプロ研 #Python講座 こちらにステータスコードの一覧がありました👀 ja.wikipedia.org/wiki/HTTP%E3%8…
2022-05-02 20:36:25
Shin8
@nonpro_shin8
requestsモジュールで「404」エラーのURLを開いた場合、エラーのページかどうか判定するのが難しい #ノンプロ研 #Python講座
2022-05-02 20:36:49
な～＠ぱいそん🐍
@PythonNao703
リクエストが成功しなかったらエラーを起こす #ノンプロ研 #Python講座 Responseオブジェクト.raise_for_status()
2022-05-02 20:38:57
Shin8
@nonpro_shin8
エラーページかどうかを判定するための方法: ①ステータスコードを確認する Responseオブジェクト.status_code ②リクエストが成功しないときにエラーを明示させる Responseオブジェクト.raise_for_status() #ノンプロ研 #Python講座
2022-05-02 20:39:55
mayu
@mayu_study0402
404NOT FOUNDは400番台クライアントエラー r.status_codeだとちゃんと404で返してくれるのね #ノンプロ研 #Python講座
2022-05-02 20:40:47
Shin8
@nonpro_shin8
プログラミングする中で、エラーが起こった際の対応を記載することは重要。 どこでエラーが発生したか判定することで、エラー対応がスムーズにできます。 URLでエラーなのに、コードの間違いを確認していたら時間の無駄になってしまいますね。 #ノンプロ研 #Python講座
2022-05-02 20:40:47
な～＠ぱいそん🐍
@PythonNao703
成功しているときは、何も起きない。 エラーが出ているときは、エラーが発生します👀 #ノンプロ研 #Python講座 pic.twitter.com/fCcSoyHt39
2022-05-02 20:42:28
拡大