入力データ処理をServerlessで実現 "Building a data preparation pipeline with Pandas and AWS Lambda" #pyconjp #pyconjp_201

Building a data preparation pipeline with Pandas and AWS Lambda @fabian_dubois Fabian Dubois https://pycon.jp/2016/ja/schedule/presentation/39/ 続きを読む
0
Fabian Dubois @fabian_dubois

Cybernetic Ecology? Augmented Ecosystems? Space Agriculture? Sustainable Space? IoT / Robotics / AI engineer.

https://t.co/W8sYGFYyc0

Fabian Dubois @fabian_dubois

slideshare.net/mobile/fabiand… data preparation with pandas and aws lambda. slides of #pyconjp talk

2016-09-22 17:21:01

さりんじゃー @salinger001101

最後は "Building a data preparation pipeline with Pandas and AWS Lambda" #pyconjp

2016-09-22 16:19:36
Naoya Nakazawa @n0ts

Bulding a data preparation pipeline with Pandas and AWS Lambda. グッドタイトルすぎる

2016-09-22 16:16:43
Typhon(テポ)/ShunYoshie✡ @Typhon666_death

月次でデータ処理するようなものにたいして、人を介さずにやるには?って感じか。図で理解した。 #pyconjp #pyconjp_201

2016-09-22 16:29:00
Typhon(テポ)/ShunYoshie✡ @Typhon666_death

データチェックツールとしてある既存のツールは以下 Trifacta Wrangler, Talend Dataprep, Google Open Refine #pyconjp #pyconjp_201

2016-09-22 16:30:49
Typhon(テポ)/ShunYoshie✡ @Typhon666_death

PyConでServerlessの話がきた ここからLambdaの話。 #pyconjp #pyconjp_201

2016-09-22 16:38:22
tpdn @KIM_TPDN

一定間隔で回したり、APIコールで発火させたりで、SNSとかSQS使わないスタイル? #pyconjp_201

2016-09-22 16:41:46
リンク www.cloudtrek.com.au Running Python 3 on AWS Lambda | CloudTrek Warm Up
どん @dondokono

AWS Lambda メモリサイズの上限結構低くないです?前処理だけなら分割すればいいだろうけど... #pyconjp_201

2016-09-22 16:48:23
tpdn @KIM_TPDN

subprocess使うの普通に黒魔術感ある #pyconjp_201

2016-09-22 16:48:33
こういち (19) @koty

subprocess使えばlambdaでpython3コードを実行できるらしい。知らんかった。 #pyconjp_201

2016-09-22 16:50:25
tpdn @KIM_TPDN

この使い方なら正直EC2たててデプロイ自動化して云々のほうが楽そうに見えるぞ・・・ #pyconjp_201

2016-09-22 16:51:01