2015/03/29 Developers.IO 2015 Developer Day CM勢ビッグデータトラック #cmdevio2015G
Developers.IO 2015 Developer Dayの調整中だったセッションがすべて決まりました!この機会に参加セッションを見直してみてはいかがでしょうか?お申込も受付中です。 #cmdevio2015 devio2015.classmethod.jp/timetable/deve…
2015-03-09 16:46:42明日の クラスメソッド株式会社 能登 諭 のセッションのつぶやきは #cmdevio2015G でまとめます! / Tez on EMRを試してみた | Developers.IO 2015 devio2015.classmethod.jp/timetable/sess…
2015-03-28 12:17:42明日の クラスメソッド株式会社 鈴木 亮 のセッションのつぶやきは #cmdevio2015G でまとめます! / AWSで実現する、クラウドネイティブなビッグデータ収集 | Developers.IO 2015 devio2015.classmethod.jp/timetable/sess…
2015-03-28 12:17:50明日の クラスメソッド株式会社 石川 覚 のセッションのつぶやきは #cmdevio2015G でまとめます! / Amazon Redshift によるデータ分析基盤の設計・チューニング | Developers.IO 2015 devio2015.classmethod.jp/timetable/sess…
2015-03-28 12:18:07明日の クラスメソッド株式会社 甲木 洋介 のセッションのつぶやきは #cmdevio2015G でまとめます! / Alteryxのご紹介とデモ | Developers.IO 2015 devio2015.classmethod.jp/timetable/sess…
2015-03-28 12:18:23まとめを更新しました。「2015/03/29 Developers.IO 2015 Developers Day CM勢ビッグデータトラック #cmdevio2015G」 togetter.com/li/796085
2015-03-28 14:54:39"表立って出てこないけど裏では動いているSimpleDB" ... (´;ω;`) #cmdevio2015G
2015-03-29 14:24:24話しました― / Tez on EMRを試してみた slideshare.net/n3104/tez-on-e… #cmdevio2015G #cmdevio2015
2015-03-29 14:32:46RedShiftの設計、チューニングのセッション。 RedShift概要から、クラスタ構成についての解説。 #cmdevio2015G #cmdevio2015
2015-03-29 15:16:41RedShiftのノードとスライスの話。スライスの数は、ノード上のプロセッサコアの数と同じ。 #cmdevio2015G #cmdevio2015
2015-03-29 15:18:53RedShiftとRDSとの違い。RedShiftはシングルAZ提供のみ。ゾーン間通信による性能劣化避けるため仕様と考えられる。 #cmdevio2015G
2015-03-29 15:20:26RedShiftのCOPY処理の注意点。CSVインポートにnullは使えない。Oracle等からのデータ移行時には注意。 #cmdevio2015G #cmdevio2015
2015-03-29 15:21:57RedShiftの文字コードはUTF8。4バイト以内。日本語はCHAR型に格納できない。Varcharで4倍相当の値とする注意必要。 #cmdevio2015 #cmdevio2015G
2015-03-29 15:23:50RedShiftの設計。要件定義、解析基盤設計、分析目的に応じた最適化、ELT処理、BIなど。 #cmdevio2015G #cmdevio2015
2015-03-29 15:25:50データ型、RDBMSのスキーマ定義が使えないデータを解析対象とする場合、Rで調査、データ型、文字数を確認。日付型は目視で対応。 #cmdevio2015 #cmdevio2015G
2015-03-29 15:28:14Redshiftは重複したキーのデータ投入が許される。 主キー制約、一意制約、外部キー制約違反してもエラーにならない。 線形スケールするためにはやむを得ないのではと考えている。 #cmdevio2015g
2015-03-29 15:30:27RedShiftのキー設計。主キーはRDBMSと同じ。一意キーを登録。制約として機能しないが、クエリプランナーの最適動作のために実施する。 #cmdevio2015G #cmdevio2015
2015-03-29 15:30:27外部キー、一意キーなど設定しても制約は有効にならないけど、クエリープランナーによって利用される。 #cmdevio2015g
2015-03-29 15:31:35分散キー。EVENランダム配置に任せず、DISTKEYでスライスを明示して利用すべき。 #cmdevio2015 #cmdevio2015G
2015-03-29 15:33:13Redshiftのデータ取込、S3とEC2の選択。 S3はエラー無く取り込めるクレンジング済であること、ETL済な事が必要。 EC2はVPC、閉塞ネットワークで完結させる必要性がある場合に検討。 #cmdevio2015G #cmdevio2015
2015-03-29 15:35:22カラム型DBのRedShift、列単位で圧縮が可能。Analyzeで圧縮効率の良い圧縮方式は確認可能。ただ速度を考慮する場合、Analyze結果に従わない事も。 #cmdevio2015 #cmdevio2015G
2015-03-29 15:37:46