2015/03/29 Developers.IO 2015 Developer Day CM勢ビッグデータトラック #cmdevio2015G
-
- いいね！0
クラスメソッド
@classmethod
Developers.IO 2015 Developer Dayの調整中だったセッションがすべて決まりました！この機会に参加セッションを見直してみてはいかがでしょうか？お申込も受付中です。 #cmdevio2015 devio2015.classmethod.jp/timetable/deve…
2015-03-09 16:46:42
しんや
@shinyaa31
明日の クラスメソッド株式会社 能登 諭 のセッションのつぶやきは #cmdevio2015G でまとめます！ / Tez on EMRを試してみた | Developers.IO 2015 devio2015.classmethod.jp/timetable/sess…
2015-03-28 12:17:42
しんや
@shinyaa31
明日の クラスメソッド株式会社 鈴木 亮 のセッションのつぶやきは #cmdevio2015G でまとめます！ / AWSで実現する、クラウドネイティブなビッグデータ収集 | Developers.IO 2015 devio2015.classmethod.jp/timetable/sess…
2015-03-28 12:17:50
しんや
@shinyaa31
明日の クラスメソッド株式会社 石川 覚 のセッションのつぶやきは #cmdevio2015G でまとめます！ / Amazon Redshift によるデータ分析基盤の設計・チューニング | Developers.IO 2015 devio2015.classmethod.jp/timetable/sess…
2015-03-28 12:18:07
しんや
@shinyaa31
明日の クラスメソッド株式会社 甲木 洋介 のセッションのつぶやきは #cmdevio2015G でまとめます！ / Alteryxのご紹介とデモ | Developers.IO 2015 devio2015.classmethod.jp/timetable/sess…
2015-03-28 12:18:23
しんや
@shinyaa31
まとめを更新しました。「2015/03/29 Developers.IO 2015 Developers Day CM勢ビッグデータトラック #cmdevio2015G」 togetter.com/li/796085
2015-03-28 14:54:39
鉄板ジュージューしてもらったやつを食べたいぎょり
@Nagafuchik
"表立って出てこないけど裏では動いているSimpleDB" ... (´；ω；`) #cmdevio2015G
2015-03-29 14:24:24
Satoshi Noto
@n3104
話しました― / Tez on EMRを試してみた slideshare.net/n3104/tez-on-e… #cmdevio2015G #cmdevio2015
2015-03-29 14:32:46
Ryo Suzuki
@suzryo
RedShiftの設計、チューニングのセッション。 RedShift概要から、クラスタ構成についての解説。 #cmdevio2015G #cmdevio2015
2015-03-29 15:16:41
Ryo Suzuki
@suzryo
RedShiftのノードとスライスの話。スライスの数は、ノード上のプロセッサコアの数と同じ。 #cmdevio2015G #cmdevio2015
2015-03-29 15:18:53
Ryo Suzuki
@suzryo
RedShiftとRDSとの違い。RedShiftはシングルAZ提供のみ。ゾーン間通信による性能劣化避けるため仕様と考えられる。 #cmdevio2015G
2015-03-29 15:20:26
Ryo Suzuki
@suzryo
RedShiftのCOPY処理の注意点。CSVインポートにnullは使えない。Oracle等からのデータ移行時には注意。 #cmdevio2015G #cmdevio2015
2015-03-29 15:21:57
Ryo Suzuki
@suzryo
RedShiftの文字コードはUTF8。4バイト以内。日本語はCHAR型に格納できない。Varcharで4倍相当の値とする注意必要。 #cmdevio2015 #cmdevio2015G
2015-03-29 15:23:50
Ryo Suzuki
@suzryo
RedShiftの設計。要件定義、解析基盤設計、分析目的に応じた最適化、ELT処理、BIなど。 #cmdevio2015G #cmdevio2015
2015-03-29 15:25:50
Ryo Suzuki
@suzryo
データ型、RDBMSのスキーマ定義が使えないデータを解析対象とする場合、Rで調査、データ型、文字数を確認。日付型は目視で対応。 #cmdevio2015 #cmdevio2015G
2015-03-29 15:28:14
ばしし
@rada_bashishi
Redshiftは重複したキーのデータ投入が許される。 主キー制約、一意制約、外部キー制約違反してもエラーにならない。 線形スケールするためにはやむを得ないのではと考えている。 #cmdevio2015g
2015-03-29 15:30:27
Ryo Suzuki
@suzryo
RedShiftのキー設計。主キーはRDBMSと同じ。一意キーを登録。制約として機能しないが、クエリプランナーの最適動作のために実施する。 #cmdevio2015G #cmdevio2015
2015-03-29 15:30:27
ばしし
@rada_bashishi
外部キー、一意キーなど設定しても制約は有効にならないけど、クエリープランナーによって利用される。 #cmdevio2015g
2015-03-29 15:31:35
Ryo Suzuki
@suzryo
分散キー。EVENランダム配置に任せず、DISTKEYでスライスを明示して利用すべき。 #cmdevio2015 #cmdevio2015G
2015-03-29 15:33:13
Ryo Suzuki
@suzryo
Redshiftのデータ取込、S3とEC2の選択。 S3はエラー無く取り込めるクレンジング済であること、ETL済な事が必要。 EC2はVPC、閉塞ネットワークで完結させる必要性がある場合に検討。 #cmdevio2015G #cmdevio2015
2015-03-29 15:35:22
Ryo Suzuki
@suzryo
カラム型DBのRedShift、列単位で圧縮が可能。Analyzeで圧縮効率の良い圧縮方式は確認可能。ただ速度を考慮する場合、Analyze結果に従わない事も。 #cmdevio2015 #cmdevio2015G
2015-03-29 15:37:46