2013/02/14 デブサミ2013【14-D-1】600億件を数十秒で検索するクラウド規模クエリサービスBigQuery #devsumiD

Developers Summit 2013 Action! http://event.shoeisha.jp/detail/1/ ＜講演概要＞ Google BigQueryは、クラウド上の数千台というサーバーを利用した大規模並列クエリサービスです。Google社内では2006年から利用されている「Dremel」と呼ばれるインフラを社外向けサービスとして公開したもので、600億件のデータに対する検索を、インデックスをまったく利用しないフルスキャンで数十秒という圧倒的なパフォーマンスで実行可能です。このDremelで利用されているカラム型ストレージのテクノロジーの解説をはじめ、BigQueryとMapReduce/Hadoopの違いと使い分け方について掘り下げます。 続きを読む
0
前へ 1 2 3
Ryo Yamasaki @vierjp

BigQueryの無料デモどこから使えるんだろ？ #devsumiD

2013-02-14 10:52:42
nyamairi @nyamairi

数万台で並列処理している。ディスクI/Oを極限まで並列化している。 #devsumiD

2013-02-14 10:52:58
Engineer @shirara1

「BigQueryはなぜ早いか」 •カラム指向ストレージ →行単位ではなくカラム単位で保存 •数万台で並列処理 →ディスクI/Oの限界まで •階層アーキテクチャ →クエリの分配 #devsumiD 14-D-1

2013-02-14 10:54:04
安心沢ガブ美 @gab_km

BigQuery は大規模データの出力には向いてないので、そこは MapReduce を使う。 #devsumiD

2013-02-14 10:54:24
nyamairi @nyamairi

MapReduceとBigQueryの使い分け。MapReduce：バッチ処理向け。高度なロジック。BigQueryの前処理。 BigQuery：大規模データの生成ができない。アドホッククエリ向け 。トライ＆エラーな分析。 #devsumiD

2013-02-14 10:55:44
Ryo Yamasaki @vierjp

セッションが終わったところで自分が以前にBigQueryについて書いたブログ記事を晒してみる。 前の会社のブログだけど。 http://t.co/O1A4jBEA #devsumiD

2013-02-14 10:57:01
安心沢ガブ美 @gab_km

14-D-1 終了。BigQuery に興味が湧いてきたよ(･∀･) #devsumiD

2013-02-14 10:57:05
かずき(Kazuki Ota) | Cloud Solution Architect at MS @okazuki

Googleビッグクエリー #devsumiD http://t.co/uNezoVu8

2013-02-14 10:57:38
かめ（かめひろ） @kamehiro17

メモ http://t.co/hAUdPM2T #devsumiD

2013-02-14 10:59:23
かめ（かめひろ） @kamehiro17

受講中のメモを推敲無しで即blogger公開する暴挙に出てみました #devsumi #devsumiD

2013-02-14 11:01:53
前へ 1 2 3

いま話題のタグ

タヌキ108 おがくず152 ワールドトリガー866 小説6480 イラストレーター762 アメコミ398 コミュニティノート118 AIイラスト259 ダンジョン飯129 岸田文雄198 新人158 青山剛昌62 インバウンド61 宇宙食6 小岩井ことり16