編集可能

2015/03/29 Developers.IO 2015 Developer Day CM勢ビッグデータトラック #cmdevio2015G

Developers.IO 2015 | IoT, BigData, BI. in 3/27(金),29(日) http://devio2015.classmethod.jp/ ハッシュタグ:#cmdevio2015G ※CM勢ビッグデータ関連トラックのつぶやきを収集します。 続きを読む
クラスメソッド
0
リンク Developers.IO 2015 Developers.IO 2015 | IoT, BigData, BI. in 3/27(金),29(日) デジタルマーケティングに関する最新の事例やテクノロジーが一堂に会し、3月27日(金)、3月29日(日)の二日間にわたってイベントを開催します。
クラスメソッド&Developers.IO @classmethod
Developers.IO 2015 Developer Dayの調整中だったセッションがすべて決まりました!この機会に参加セッションを見直してみてはいかがでしょうか?お申込も受付中です。 #cmdevio2015 devio2015.classmethod.jp/timetable/deve…
しんや @shinyaa31
明日の クラスメソッド株式会社 能登 諭 のセッションのつぶやきは #cmdevio2015G でまとめます! / Tez on EMRを試してみた | Developers.IO 2015 devio2015.classmethod.jp/timetable/sess…
しんや @shinyaa31
明日の クラスメソッド株式会社 鈴木 亮 のセッションのつぶやきは #cmdevio2015G でまとめます! / AWSで実現する、クラウドネイティブなビッグデータ収集 | Developers.IO 2015 devio2015.classmethod.jp/timetable/sess…
しんや @shinyaa31
明日の クラスメソッド株式会社 石川 覚 のセッションのつぶやきは #cmdevio2015G でまとめます! / Amazon Redshift によるデータ分析基盤の設計・チューニング | Developers.IO 2015 devio2015.classmethod.jp/timetable/sess…
しんや @shinyaa31
明日の クラスメソッド株式会社 甲木 洋介 のセッションのつぶやきは #cmdevio2015G でまとめます! / Alteryxのご紹介とデモ | Developers.IO 2015 devio2015.classmethod.jp/timetable/sess…
しんや @shinyaa31
まとめを更新しました。「2015/03/29 Developers.IO 2015 Developers Day CM勢ビッグデータトラック #cmdevio2015Gtogetter.com/li/796085
人形町の魚・ぎょり @Nagafuchik
"表立って出てこないけど裏では動いているSimpleDB" ... (´;ω;`) #cmdevio2015G
Ryo Suzuki @suzryo
RedShiftの設計、チューニングのセッション。 RedShift概要から、クラスタ構成についての解説。 #cmdevio2015G #cmdevio2015
Ryo Suzuki @suzryo
RedShiftのノードとスライスの話。スライスの数は、ノード上のプロセッサコアの数と同じ。 #cmdevio2015G #cmdevio2015
Ryo Suzuki @suzryo
RedShiftとRDSとの違い。RedShiftはシングルAZ提供のみ。ゾーン間通信による性能劣化避けるため仕様と考えられる。 #cmdevio2015G
Ryo Suzuki @suzryo
RedShiftのCOPY処理の注意点。CSVインポートにnullは使えない。Oracle等からのデータ移行時には注意。 #cmdevio2015G #cmdevio2015
Ryo Suzuki @suzryo
RedShiftの文字コードはUTF8。4バイト以内。日本語はCHAR型に格納できない。Varcharで4倍相当の値とする注意必要。 #cmdevio2015 #cmdevio2015G
Ryo Suzuki @suzryo
RedShiftの設計。要件定義、解析基盤設計、分析目的に応じた最適化、ELT処理、BIなど。 #cmdevio2015G #cmdevio2015
Ryo Suzuki @suzryo
データ型、RDBMSのスキーマ定義が使えないデータを解析対象とする場合、Rで調査、データ型、文字数を確認。日付型は目視で対応。 #cmdevio2015 #cmdevio2015G
ばしし @rada_bashishi
RでCSVを読み込ませてデータ型、サイズの調査ができる。 小数点有効桁数などは実データで確認 #cmdevio2015g
ばしし @rada_bashishi
Redshiftは重複したキーのデータ投入が許される。 主キー制約、一意制約、外部キー制約違反してもエラーにならない。 線形スケールするためにはやむを得ないのではと考えている。 #cmdevio2015g
Ryo Suzuki @suzryo
RedShiftのキー設計。主キーはRDBMSと同じ。一意キーを登録。制約として機能しないが、クエリプランナーの最適動作のために実施する。 #cmdevio2015G #cmdevio2015
ばしし @rada_bashishi
外部キー、一意キーなど設定しても制約は有効にならないけど、クエリープランナーによって利用される。 #cmdevio2015g
Ryo Suzuki @suzryo
分散キー。EVENランダム配置に任せず、DISTKEYでスライスを明示して利用すべき。 #cmdevio2015 #cmdevio2015G
Ryo Suzuki @suzryo
Redshiftのデータ取込、S3とEC2の選択。 S3はエラー無く取り込めるクレンジング済であること、ETL済な事が必要。 EC2はVPC、閉塞ネットワークで完結させる必要性がある場合に検討。 #cmdevio2015G #cmdevio2015
Ryo Suzuki @suzryo
カラム型DBのRedShift、列単位で圧縮が可能。Analyzeで圧縮効率の良い圧縮方式は確認可能。ただ速度を考慮する場合、Analyze結果に従わない事も。 #cmdevio2015 #cmdevio2015G
残りを読む(15)

コメント

しんや @shinyaa31 2015年3月28日
まとめを更新しました。
しんや @shinyaa31 2015年3月30日
まとめを更新しました。
ログインして広告を非表示にする
ログインして広告を非表示にする