デブサミ2019福岡【A-7】サーバーレスは世界を救う...データエンジニアリング環境を爆速に構築する技術 #devsumiA #devsumi

1
kensan @ken3_0596

SREってなんか一般化しましたなー #devsumi #devsumiA

2019-08-29 16:18:14
えみぞう🐘🐮🌻🌻🌻🐰🐰🐰 @seemizou

データエンジニアリング あらゆるサービスを組み合わせながら構築 #devsumi #devsumiA

2019-08-29 16:23:46
kensan @ken3_0596

データエンジニアリング環境構築(サーバーレス)な話 #devsumi #devsumiA

2019-08-29 16:24:41
えみぞう🐘🐮🌻🌻🌻🐰🐰🐰 @seemizou

ECサイトの購入データを元にFacebookに広告を出す(でも) #devsumi #devsumiA pic.twitter.com/aN3pl3cbjV

2019-08-29 16:25:29
拡大
えみぞう🐘🐮🌻🌻🌻🐰🐰🐰 @seemizou

GUIでぽちぽちしたらpythonコードが出力される。 #devsumi #devsumiA

2019-08-29 16:33:42
kensan @ken3_0596

AWS Glue でS3上のCSVをテーブル形式に変換 #devsumi #devsumiA

2019-08-29 16:34:39
kensan @ken3_0596

GCPパターンでも似たような構成。GCSからCSVをBigQueryで抜き出し #devsumi #devsumiA

2019-08-29 16:38:47
kensan @ken3_0596

オンプレの場合、データ加工や分析保存にhadoopやSpark用サーバが必要。 #devsumi #devsumiA

2019-08-29 16:40:01
Developers Summit(デブサミ)🏔 翔泳社 CodeZine主催エンジニアイベント @devsumi

A-7セッション『サーバーレスは世界を救う...データエンジニアリング環境を爆速に構築する技術』手塚卓也さん(スリーシェイク)です! #devsumi #devsumiA pic.twitter.com/MzbNiyavKe

2019-08-29 16:41:22
拡大
kensan @ken3_0596

・オンプレ  Server管理しんどい ・AWS  サービス多い。でもちょい複雑 ・GCP  シンプルだけど情報少ない #devsumi #devsumiA

2019-08-29 16:41:24
nori-shio @norishio_88

確かにHadoopとSparkをオンプレで管理運用は辛いかも #devsumiA

2019-08-29 16:41:35
えみぞう🐘🐮🌻🌻🌻🐰🐰🐰 @seemizou

オンプレ 大変だけどセキュリティー考えたらアリ 市場はAWS一強 #devsumi #devsumiA pic.twitter.com/fc9yKFQLAN

2019-08-29 16:41:36
拡大
kensan @ken3_0596

アーキテクトがクラウドサービスの理解に依存。 ベンダーロックインされがち 事前調査必要かつTry&Errorのコスト #devsumi #devsumiA

2019-08-29 16:43:58
kensan @ken3_0596

SRE/Appチームの境界は曖昧。このあたりはどこも人やリーダーに依存しそう #devsumi #devsumiA

2019-08-29 16:46:09
nori-shio @norishio_88

AWSもGCPも試すにはお金がかかるから気軽に行けないハードルの高さというか勇気が必要なところがネックだよなぁ。遊んでたら金かかりすぎてたーってありがち #devsumiA

2019-08-29 16:46:28
kensan @ken3_0596

クラウドのセキュリティ。低レイヤのパッチなんかはよろしくで。 #devsumi #devsumiA

2019-08-29 16:47:29
kensan @ken3_0596

Reckner 自分たちの運用がしんどくなってきたので作った経緯。んでサービス化 #devsumi #devsumiA

2019-08-29 16:49:49