もう１つのHadoop Summit 〜 #HAWQ #Spark #Kafka などの紹介 #futureofdata
-
- いいね！0
Kimihiko Kitase
@kkitase
12/14開催「もう１つのHadoop Summit」の紹介 - 19:05 〜 データ活用を推進する「Pivotal HDB(Apache HAWQ(ホーク))」 by Pivotalジャパン 松下さん futureofdata.connpass.com/event/45927/ #futureofdata
2016-12-08 17:00:41
Kimihiko Kitase
@kkitase
12/14開催「もう１つのHadoop Summit」の紹介 - 19:25 〜 Spark Streamingを活用したシステムの検証結果と設計時のノウハウ 日立製作所 伊藤さん futureofdata.connpass.com/event/45927/ #futureofdata
2016-12-08 17:01:58
issei*fam
@it__ssei
もう１つのHadoop Summit 〜 #HAWQ #Spark #Kafka などの紹介 futureofdata.connpass.com/event/45927/ #futureofdata
2016-12-14 19:06:47
issei*fam
@it__ssei
I love Cisco UCS ! #cisco でカレンダーもらえるとな（３名）。欲しい！ #futureofdata
2016-12-14 19:07:25
issei*fam
@it__ssei
Pivotal HDB(OSS版：Apache HAWQ)とは。 ・HAdoop With Query ・HDFS向けの高速クエリ処理が特徴 ・標準SQLに準拠している #futureofdata
2016-12-14 19:14:38
Kimihiko Kitase
@kkitase
#futureofdata 本日は、シスコシステムズ様で「もう一つのHadoop Summit」を開催してます。 pic.twitter.com/qp0RzWwj3R
2016-12-14 19:20:37
拡大
拡大
issei*fam
@it__ssei
HAWQの速さの秘訣はデータの読み書きにあり。 ・Pivotalが改良したlibhdfs3(C API)によるHDFSへの配置 ・書き込み時：自身のデータノードにまず書き込む ・読み出し時：ローカルのデータブロックから最優先で読み出す #futureofdata
2016-12-14 19:26:45
issei*fam
@it__ssei
HAWQのメリット ・インタラクティブに解析できる ・速い ・SQL使える、とか ・外部DBとの連携も可能 ・テーブルとして扱えるエクステンションがあるとな #futureofdata
2016-12-14 19:28:45
issei*fam
@it__ssei
遊んでみたい人はここからVMイメージダウンロード可能とな（無償、ユーザ登録あり） network.pivotal.io/products/pivot… #futureofdata
2016-12-14 19:30:46
issei*fam
@it__ssei
二人目、日立の伊藤さん「Spark Streamingを活用したシステムの検証結果と設計時のノウハウ 」 #futureofdata
2016-12-14 19:31:31
issei*fam
@it__ssei
Spark Streaming ・マイクロバッチ方式(数秒～数分のバッチ処理) ・疑似的なストリーム処理が可能 ・二種類のオペレーション ・ウィンドウ ・状態更新 #futureofdata
2016-12-14 19:35:23
issei*fam
@it__ssei
リアルタイムレコメンドエンジンでのOSS組み合わせ例 キュー：Kafka リアルタイム処理：Spark Streaming 検索：ElasticSearch 機械学習：MLlib クラスタ管理：YARN ファイルシステム：HDFS #futureofdata
2016-12-14 19:38:42
issei*fam
@it__ssei
Kafkaのパーティション数をCPUコア数より多めにとって、Sparkのタスク数を使い切るのが重要とな #futureofdata
2016-12-14 19:39:28
Kimihiko Kitase
@kkitase
#futureofdata 伊藤さん: 「Spark Streamingを活用したシステムの検証結果と設計時のノウハウ 」 をきいています。
2016-12-14 19:39:55