2021年10月13日

ノンプロ研Python初級講座_第6期_第5回

3
ume @plumfield56

本日はPython講座5回目でいよいよスクレイピングに入っていきます! HTMLの見方とか最初苦戦すると思いますが、楽しいところなので頑張っていきましょう。 #ノンプロ研 #Python講座 pic.twitter.com/7hCpnnuooH

2021-10-13 19:35:07
拡大
Takushi@VBAとGAS勉強中 @Taxi3134

HTMLあんまりわからなくてもスクレイピングできたな。びびって一度挫折しましたけど。#ノンプロ研 #Python講座

2021-10-13 19:51:38
こはた @kohaku935

今日は、初心者講座Pythonコース 5回目。 いよいよスクレイピング!2回にわたって学んでいきます。楽しんでいきましょう! #ノンプロ研 #Python講座

2021-10-13 19:52:37
George.I@python初級GAS中級講座受講中 @InvestorVet_

今日も予習済だ 今日は写経少なめなようだ。 自在にスクレイピングできるようになりたい #ノンプロ研 #Python講座

2021-10-13 20:02:43
こはた @kohaku935

実務でもプライベートでも使える、スクレイピング。 #ノンプロ研 #Python講座

2021-10-13 20:11:06
George.I@python初級GAS中級講座受講中 @InvestorVet_

このサイトを攻略する という意気込みでスクレイピングを練習する #ノンプロ研 #Python講座

2021-10-13 20:11:26
Shin8 @1025kysi

スクレイピング めぼしいサイトを見つけて攻略するのが良い #ノンプロ研 #Python講座

2021-10-13 20:12:29
Shin8 @1025kysi

HTMLなどは慣れが必要なので、攻略サイトなど目的あると良い #ノンプロ研 #Python講座

2021-10-13 20:12:34
こはた @kohaku935

8つの約束のうち、やっと「①実務で使う」が重要になります。HTMLはコツ、慣れがものをいうので、ターゲットのサイトを決めて、攻略する、としていくことで身についていきます。トライしていきましょう。 エラーにあったら、「④調べる」 #ノンプロ研 #Python講座

2021-10-13 20:12:39
George.I@python初級GAS中級講座受講中 @InvestorVet_

ブラウザやweb長く使っているがよくは分かっていない #ノンプロ研 #Python講座

2021-10-13 20:13:17
こはた @kohaku935

スクレイピングとは? Web上からデータを収集すること。 英語のscrape=かき集める、情報をきれいにする #ノンプロPython本 10章に記載 #ノンプロ研 #Python講座

2021-10-13 20:13:41
Shin8 @1025kysi

スクレイピングはVBAやGASでもできるが、Python が得意な分野 データの分析という観点でもPythonとの相性が良い #ノンプロ研 #Python講座

2021-10-13 20:14:59
こはた @kohaku935

スクレイピングは、Pythonではなく、他の言語でもできる。 Pythonの得意としている、データの整理、分析が得意なので、セットで使うことが多いです。 #ノンプロ研 #Python講座

2021-10-13 20:15:01
こはた @kohaku935

スクレイピングをするにあたり、どの言語でも同様で、HTTP通信、HTMLの知識が必要。 インターネットの仕組み、Webページを作る言語の仕組み。 Pythonの知識だけではなく、基礎知識が必要になります。 #ノンプロ研 #Python講座

2021-10-13 20:15:11
こはた @kohaku935

スクレイピングの法的問題を理解する。公開されている=なんでもOKではない。 ・著作権、肖像権 ・商用利用NG ・利用規約あれば、確認 ・サーバーの負荷の考慮 #ノンプロ研 #Python講座

2021-10-13 20:16:01
こはた @kohaku935

スクレイピングしていいかは、法的にグレイゾーンが多い。 その判例の積み重ねで、OK、NGが決まっている。 ログインした後の情報を使用すると、法的NGなケースがあった。私的利用ならOK。 #ノンプロ研 #Python講座

2021-10-13 20:19:27
こはた @kohaku935

相手の立場に立って、節度あるスクレイピングをしていきましょう! #ノンプロ研 #Python講座

2021-10-13 20:20:11
kmk @vicky_kmk

#ノンプロ研 #Python講座 スクレイピングは、ルールと節度を守っておこないましょう。

2021-10-13 20:21:59
こはた @kohaku935

Q:サイトの利用規約にスクレイピング禁止としっかり書いてあるのか? A:サイトによってはっきり書いてないところもある。自分の中でおさまっていればOKだと思うが、それを商用にしようする、となるとNGとなるケースもあり。 #ノンプロ研 #Python講座

2021-10-13 20:22:22
こはた @kohaku935

Q:問題になるスクレイピングになる手法とは? A:①マネタイズ=商用利用 ②会員のみに展開している情報を公開してしまう #ノンプロ研 #Python講座

2021-10-13 20:23:26
こはた @kohaku935

HTTP通信の仕組み 「ブラウザ」と「Webサーバー」間のやり取り。 ブラウザからHTTPリクエストを送信し、それを受け取ったWebサーバーがHTTPレスポンスを返す。 #ノンプロPython本 10.2に記載 #ノンプロ研 #Python講座

2021-10-13 20:23:49
kmk @vicky_kmk

#ノンプロ研 #Python講座 問題になりやすいスクレイピングのケースとは? - 商業利用している - 会員限定などの情報を取得している

2021-10-13 20:24:11
こはた @kohaku935

スクレイピングの手順である、 ・URLにリクエスト ・Webサーバーからのレスポンスを受け取る を行ってくれるのが、requestsモジュール。 シンプルなコードで、HTTPリクエスト→HTTPレスポンスのやり取りが書ける。 #ノンプロ研 #Python講座

2021-10-13 20:25:08
Shin8 @1025kysi

スクレイピングはブラウザの動きをPythonで実行する #ノンプロ研 #Python講座

2021-10-13 20:25:43
残りを読む(69)

コメント

コメントがまだありません。感想を最初に伝えてみませんか?