ノンプロ研初心者向けプログラミング講座第４期【Python コース】第５回
-
- いいね！6
タカハシノリアキ
@ntakahashi0505
本日は #ノンプロ研 初心者Python講座の第５回。 いよいよスクレイピングに入ります！ pic.twitter.com/la3dNgJrV0
2020-10-21 19:48:21
拡大
タカハシノリアキ
@ntakahashi0505
アイスブレイクタイム、２週間ぶりにお部屋をわけました。 お部屋の人数少なめなので、いつもよりたっぷりめにお話いただければと思います。 #ノンプロ研
2020-10-21 20:04:21
Kenny Tsuji | 『旬北海道』北海道から世界の食卓へ
@TsujiKenzo
本日はPython初級講座のDay5。いよいよスクレイピングにチャレンジです。 #ノンプロ研
2020-10-21 20:06:51
Kenny Tsuji | 『旬北海道』北海道から世界の食卓へ
@TsujiKenzo
私がスクレイピングしてみたいもの。 統計WEBです！ bellcurve.jp/statistics/ つじけはいつもガチです。 #ノンプロ研
2020-10-21 20:08:54
おおさき🥔小さなIT活用で快適な農場づくりを
@massa_potato
Python初級講座 第５回目です。ブレイクアウトルームは、株や為替といったワードが飛び交っておりました #ノンプロ研
2020-10-21 20:11:38
Kenny Tsuji | 『旬北海道』北海道から世界の食卓へ
@TsujiKenzo
Python初級講座のラスト2Dayはスクレイピング集中講座ですが、リスト型や辞書型の基本操作や取得した要素をfor文で分解するなど、これまで基本を積み上げて成り立ってます。 ネットの拾い物コードでもスクレイピングできますが遅かれ早かれ基礎の壁にぶつかるのです。 #ノンプロ研
2020-10-21 20:12:41
おおさき🥔小さなIT活用で快適な農場づくりを
@massa_potato
スクレイピング対象となるサイトは色々あるけれど、実務で使うとか、興味のあることをやると面白く続けられる。好きなものに取り組むのがポイントです。 #ノンプロ研
2020-10-21 20:13:15
タカハシノリアキ
@ntakahashi0505
ゴールは 「実務で使える簡単なツールを作る」 Pythonはスマートな言語ですが、それでも100時間単位の学習が必要になります。 講座だけだと12時間しかありませんから、それ以外を自習または実務で補完しなくてはなりません。 この時間を作れるかが初心者の最大のハードルです。 #ノンプロ研
2020-10-21 20:13:16
おおさき🥔小さなIT活用で快適な農場づくりを
@massa_potato
今日の内容は、 1. スクレイピングの基礎知識 2. HTTP通信（requestsモジュール） 3. HTML解析（beautifulsoup4モジュール） の三本柱。慣れないワードが飛び交いますが、基礎的な部分です。 #ノンプロ研
2020-10-21 20:15:24
タカハシノリアキ
@ntakahashi0505
スクレイピングはPythonが得意なことのひとつ。 ライブラリが充実しているので、他言語よりもスッキリ組めます。 #ノンプロ研
2020-10-21 20:16:11
KT
@KTktktkt06
#ノンプロ研 ここだけは、習得したいスクレイピング もちろん基礎をしっかり抑えておかないと、業務とかでは使えません 2回目のチャレンジ、頑張ります （1期生、未卒業）
2020-10-21 20:16:27
Kenny Tsuji | 『旬北海道』北海道から世界の食卓へ
@TsujiKenzo
早る気持ちを抑えてまずはスクレイピングの心構えから。Pythonを触るのは我慢我慢。 スクレイピングはwebサイトの利用規約を読むことから始めます。 #ノンプロ研
2020-10-21 20:17:14
おおさき🥔小さなIT活用で快適な農場づくりを
@massa_potato
まずはじめに、スクレイピングって法的にどうなの？という解説。気になるところです。 ・著作権の侵害をしない ・利用規約違反をしない ・サーバー負荷をかけることによる業務妨害を避ける #ノンプロ研
2020-10-21 20:17:55
おおさき🥔小さなIT活用で快適な農場づくりを
@massa_potato
ログインしなければいけないときなどは特に規約を確認。 プログラミングは短時間の繰り返しができてしまうので、意図せずサーバーに負荷をかけてしまうことも。気をつけましょう！ #ノンプロ研
2020-10-21 20:19:59
Kenny Tsuji | 『旬北海道』北海道から世界の食卓へ
@TsujiKenzo
私はエアじゃないっすw #ノンプロ研 twitter.com/ntakahashi0505…
2020-10-21 20:20:48
タカハシノリアキ
@ntakahashi0505
Pythonのおかげで「スクレイピング」を前面にうちだした書籍も増えましたね。 もともとVBAで若干数はあったのですが。 #ノンプロ研
2020-10-21 20:22:05
おおさき🥔小さなIT活用で快適な農場づくりを
@massa_potato
タイピングゲームでスクレイピングを利用して高得点を取っていた、というのが問題になった例があったらしい #ノンプロ研
2020-10-21 20:24:08
タカハシノリアキ
@ntakahashi0505
初心者Python講座ではスクレイピングを通じて、HTTPやHTMLの概要を学ぶことができますね。 ちなみに、中級GAS講座ではUrl FetchでHTTPを学べます。 #ノンプロ研
2020-10-21 20:24:57
おおさき🥔小さなIT活用で快適な農場づくりを
@massa_potato
HTTP通信の仕組身を図解で解説。 普段ブラウザでURLにアクセスした時に、どんなやりとりが起きているか。 pythonでスクレイピングする際に使うrequestモジュールで、裏で同じことを行います。#ノンプロ研
2020-10-21 20:26:26