-
plumfield56
- 856
- 3
- 0
- 0
-
- いいね！0
ume
@plumfield56
本日はPython講座5回目でいよいよスクレイピングに入っていきます！ HTMLの見方とか最初苦戦すると思いますが、楽しいところなので頑張っていきましょう。 #ノンプロ研 #Python講座 pic.twitter.com/7hCpnnuooH
2021-10-13 19:35:07
拡大
Takushi✨プログラミング学習中
@Taxi3134
HTMLあんまりわからなくてもスクレイピングできたな。びびって一度挫折しましたけど。#ノンプロ研 #Python講座
2021-10-13 19:51:38
こはた｜Python、GAS勉強中
@kohaku935
今日は、初心者講座Pythonコース 5回目。 いよいよスクレイピング！2回にわたって学んでいきます。楽しんでいきましょう！ #ノンプロ研 #Python講座
2021-10-13 19:52:37
George.I@GAS、Python勉強中
@InvestorVet_
今日も予習済だ 今日は写経少なめなようだ｡ 自在にスクレイピングできるようになりたい #ノンプロ研 #Python講座
2021-10-13 20:02:43
George.I@GAS、Python勉強中
@InvestorVet_
このサイトを攻略する という意気込みでスクレイピングを練習する #ノンプロ研 #Python講座
2021-10-13 20:11:26
こはた｜Python、GAS勉強中
@kohaku935
8つの約束のうち、やっと「①実務で使う」が重要になります。HTMLはコツ、慣れがものをいうので、ターゲットのサイトを決めて、攻略する、としていくことで身についていきます。トライしていきましょう。 エラーにあったら、「④調べる」 #ノンプロ研 #Python講座
2021-10-13 20:12:39
George.I@GAS、Python勉強中
@InvestorVet_
ブラウザやweb長く使っているがよくは分かっていない #ノンプロ研 #Python講座
2021-10-13 20:13:17
こはた｜Python、GAS勉強中
@kohaku935
スクレイピングとは？ Web上からデータを収集すること。 英語のscrape＝かき集める、情報をきれいにする #ノンプロPython本 10章に記載 #ノンプロ研 #Python講座
2021-10-13 20:13:41
Shin8
@nonpro_shin8
スクレイピングはVBAやGASでもできるが、Python が得意な分野 データの分析という観点でもPythonとの相性が良い ＃ノンプロ研 ＃Python講座
2021-10-13 20:14:59
こはた｜Python、GAS勉強中
@kohaku935
スクレイピングは、Pythonではなく、他の言語でもできる。 Pythonの得意としている、データの整理、分析が得意なので、セットで使うことが多いです。 #ノンプロ研 #Python講座
2021-10-13 20:15:01
こはた｜Python、GAS勉強中
@kohaku935
スクレイピングをするにあたり、どの言語でも同様で、HTTP通信、HTMLの知識が必要。 インターネットの仕組み、Webページを作る言語の仕組み。 Pythonの知識だけではなく、基礎知識が必要になります。 #ノンプロ研 #Python講座
2021-10-13 20:15:11
こはた｜Python、GAS勉強中
@kohaku935
スクレイピングの法的問題を理解する。公開されている＝なんでもOKではない。 ・著作権、肖像権 ・商用利用NG ・利用規約あれば、確認 ・サーバーの負荷の考慮 #ノンプロ研 #Python講座
2021-10-13 20:16:01
こはた｜Python、GAS勉強中
@kohaku935
スクレイピングしていいかは、法的にグレイゾーンが多い。 その判例の積み重ねで、OK、NGが決まっている。 ログインした後の情報を使用すると、法的NGなケースがあった。私的利用ならOK。 #ノンプロ研 #Python講座
2021-10-13 20:19:27
こはた｜Python、GAS勉強中
@kohaku935
スクレイピングの注意事項一覧 qiita.com/nezuq/items/c5… #ノンプロ研 #Python講座
2021-10-13 20:20:19
こはた｜Python、GAS勉強中
@kohaku935
Q:サイトの利用規約にスクレイピング禁止としっかり書いてあるのか？ A:サイトによってはっきり書いてないところもある。自分の中でおさまっていればOKだと思うが、それを商用にしようする、となるとNGとなるケースもあり。 #ノンプロ研 #Python講座
2021-10-13 20:22:22
こはた｜Python、GAS勉強中
@kohaku935
Q:問題になるスクレイピングになる手法とは？ A:①マネタイズ＝商用利用 ②会員のみに展開している情報を公開してしまう #ノンプロ研 #Python講座
2021-10-13 20:23:26
こはた｜Python、GAS勉強中
@kohaku935
HTTP通信の仕組み 「ブラウザ」と「Webサーバー」間のやり取り。 ブラウザからHTTPリクエストを送信し、それを受け取ったWebサーバーがHTTPレスポンスを返す。 #ノンプロPython本 10.2に記載 #ノンプロ研 #Python講座
2021-10-13 20:23:49
kmk｜ビジネスアナリスト
@vicky_kmk
#ノンプロ研 #Python講座 問題になりやすいスクレイピングのケースとは？ - 商業利用している - 会員限定などの情報を取得している
2021-10-13 20:24:11
こはた｜Python、GAS勉強中
@kohaku935
スクレイピングの手順である、 ・URLにリクエスト ・Webサーバーからのレスポンスを受け取る を行ってくれるのが、requestsモジュール。 シンプルなコードで、HTTPリクエスト→HTTPレスポンスのやり取りが書ける。 #ノンプロ研 #Python講座
2021-10-13 20:25:08