Tech-on MeetUp Online#02「もしエンタープライズのエンジニアがデータ分析をやることになったら」まとめ #TechOn東京

エンジニア×データ分析=? 巷に溢れるBIツール/データ分析基盤をどのように利用すべきなのか、そしてどのように事業へ貢献できるのか、てくみのデータ分析が今始まる。 <イベントページ> https://techplay.jp/event/785489
1
神田 佳積 @kazumiks

ルート分析をクラスタ分析を用いているのは気になる。k-meansを用いているのだろうか? #TechOn東京

2020-07-27 20:10:03
かず @curanosuke

Athenaで4年分のデータを活用して1分以内に分析可能。 #TechOn東京

2020-07-27 20:11:15
山口正徳@AWS Hero(Masanori Yamaguchi) @kinunori

渋滞予測とか事故の少ない最短経路の算出とか楽しそう #TechOn東京

2020-07-27 20:11:31
かず @curanosuke

自転車は世界的に増えたって聞きますね。 #TechOn東京 pic.twitter.com/JQMlwnebns

2020-07-27 20:12:05
拡大
神田 佳積 @kazumiks

まさかマルチクラウドでデータ基盤を構築しているのか。。。しかもオンプレミスも。。。 #TechOn東京

2020-07-27 20:12:36
かず @curanosuke

AWSにデータをまとめて、加工、分析。 一つにまとめるの大事。 #TechOn東京 pic.twitter.com/jmDh193xpj

2020-07-27 20:13:28
拡大
神田 佳積 @kazumiks

データ基盤でサーバログやユーザ行動ログだとかなりの量になるよなあ。。。 #TechOn東京

2020-07-27 20:13:49
神田 佳積 @kazumiks

fluentedからKinesis Data Streamでデータ収集。リアルタイム分析はLambda→ElasticSearch。一定期間保存はDatalake。 #TechOn東京

2020-07-27 20:16:04
かず @curanosuke

位置情報の異常除去とかはGlueじゃ難しいのでEMRを利用。 #TechOn東京 pic.twitter.com/m2LZ4Ul78Q

2020-07-27 20:19:14
拡大
神田 佳積 @kazumiks

AthenaだとSQL実行できることを考えたら時系列断面的な分析にはいいかも。 #TechOn東京

2020-07-27 20:22:01
かず @curanosuke

たまに失敗することは前提に本番サービスでも。 #TechOn東京 pic.twitter.com/rcNx5q52GQ

2020-07-27 20:23:24
拡大
かず @curanosuke

TableauからAthena直接は余計なクエリーが乱発? #TechOn東京 pic.twitter.com/lz7OsbPCIf

2020-07-27 20:25:06
拡大
しょーりん。(こばけん) @kkb1016

Athenaさん、便利になっているんだなー。 #TechOn東京

2020-07-27 20:28:14
NAVITIME_Tech @navitime_tech

【お知らせ】 SlideShareに資料をアップロードしました! 2020/07/27開催されたTech-on MeetUp Online#02「もしエンタープライズのエンジニアがデータ分析をやることになったら」にて発表した資料です。#TechOn東京 slideshare.net/NavitimeJapan/…

2020-07-27 20:29:08
神田 佳積 @kazumiks

続いて、 @yutah_3 さんのセッション。今のところがGCP(BigQuery)を用いているので気になる。 #TechOn東京

2020-07-27 20:33:13
Tech-on事務局 @techon_org

3人目は グーグル・クラウド・ジャパン合同会社・Yuta Honoさんです!  #TechOn東京

2020-07-27 20:33:45