AWS Loft TokyoテクニカルセミナーAnalytics Architecture Night時のツイートまとめ

2018年10月5日開催 AWS Loft TokyoテクニカルセミナーAnalytics Architecture Night時の #AWSLoft タグがついていたツイートまとめ
0
しょー(show) @surumegohan

VPCフローログの分析と可視化  これも AWS Big Data Log とかででてくるらしい #AWSLoft

2018-10-05 20:14:54
しょー(show) @surumegohan

ビデオアナリティクス! すげぇおもしろそう #AWSLoft

2018-10-05 20:16:01
しょー(show) @surumegohan

Amazon Rekognitionってのがあるのか #AWSLoft

2018-10-05 20:17:31
しょー(show) @surumegohan

表示してる「だけ」ってすごいことしてる気がするんだけども #AWSLoft

2018-10-05 20:21:04
Aki Tsukada 🌗 Japan @akitsukada

いま解説している Kinesis Video Streams と Rekognition Video のサンプルのリポジトリです #awsloft github.com/awslabs/amazon…

2018-10-05 20:21:09
しょー(show) @surumegohan

ログは立派なストリームデータ! #AWSLoft

2018-10-05 20:23:50
しょー(show) @surumegohan

質問したら 「はい!するめごはんさん!」とか言われた件w というわけで「スライド公開されますか?」と質問したら、今日3人とも公開してくれることになりました!! Amazonさん本当にありがとうございます!! #AWSLoft

2018-10-05 20:28:11
しょー(show) @surumegohan

RedshiftはそもそもPostgreSQLから受け継いで、分析系に特化したRDBMSだ! #AWSLoft

2018-10-05 20:30:24
しょー(show) @surumegohan

シェアードナッシングとMPP リーダーノードがコンピュートノードに分散して実行になる #AWSLoft

2018-10-05 20:33:41
しょー(show) @surumegohan

スライスをうまく使うの難しそう #AWSLoft

2018-10-05 20:34:32
しょー(show) @surumegohan

DCインスタンスは性能重視、DSインスタンスはストレージ量重視 #AWSLoft

2018-10-05 20:35:49
しょー(show) @surumegohan

Spectrum Redshift にためたデータとS3にためたデータを結合できる!? すげーー #AWSLoft

2018-10-05 20:38:17
しょー(show) @surumegohan

Redshift のいいところ ノード増やせば早くなるけど、頻繁にノード追加はそんなにできない。 そこでチューニングだ!! #AWSLoft

2018-10-05 20:39:28
しょー(show) @surumegohan

パフォチューポイント ディスクIOを削減する!  読みだす範囲やサイズをいかに減らせるか ノード間通信を削減する!  通信しないようなデータ配置 クエリごとに必要なリソースを適切に割り当てる!  メモリ資源を効率的に利用 #AWSLoft

2018-10-05 20:42:18
しょー(show) @surumegohan

列指向なので クエリで全選択 SELECT * FROM ・・・ を不用意に使用しない #AWSLoft

2018-10-05 20:43:56
しょー(show) @surumegohan

データ圧縮かー ロードしたあとにANALYZE COMPRESSIONコマンドで推奨を確認する! ANALYZE COMPRESSION テーブル名; 選択に迷ったらZSTDまたはLZO パフォーマンス面でLZOが勝る場合がある #AWSLoft

2018-10-05 20:46:31
しょー(show) @surumegohan

ゾーンマップ(ブロックフィルタリング) ゾーンマップの活用むずそうだ ソートキーを頻繁に使われるWHERE句条件キーが筆頭候補! 一般的には日付などの時系列やIDに多い #AWSLoft

2018-10-05 20:48:51
しょー(show) @surumegohan

範囲限定スキャン たしかに。 #AWSLoft

2018-10-05 20:50:04
しょー(show) @surumegohan

カラム定義は必要なサイズでやるべし。 #AWSLoft

2018-10-05 20:50:50
しょー(show) @surumegohan

次にノード間通信削減の話 マネジメントコンソールで実行計画とか実績統計がわかるのか #AWSLoft

2018-10-05 20:51:46
しょー(show) @surumegohan

実行計画のDS_*オペレータをみつける DS_BCAST_INNERだとJOIN時に内部表で全部みてる #AWSLoft

2018-10-05 20:53:28