10周年のSPコンテンツ!

2013/02/14 デブサミ2013【14-D-1】600億件を数十秒で検索するクラウド規模クエリサービスBigQuery #devsumiD

Developers Summit 2013 Action! http://event.shoeisha.jp/detail/1/ <講演概要> Google BigQueryは、クラウド上の数千台というサーバーを利用した大規模並列クエリサービスです。Google社内では2006年から利用されている「Dremel」と呼ばれるインフラを社外向けサービスとして公開したもので、600億件のデータに対する検索を、インデックスをまったく利用しないフルスキャンで数十秒という圧倒的なパフォーマンスで実行可能です。このDremelで利用されているカラム型ストレージのテクノロジーの解説をはじめ、BigQueryとMapReduce/Hadoopの違いと使い分け方について掘り下げます。 続きを読む
devsumid devsumi
0
知っ得@ライフハック @LifeHackEX
【知っ得】 Togetter新着 2013/02/14 デブサミ2013【14-D-7】Action!デブサミ2013オフィシャルコミュニティLT #devsumiD http://t.co/6XFnCqcS #togetter #twitter #hackEX
どみにをん525 @Dominion525
IaaS型のGoogle Conpute Engine だと。 #devsumiD
山入 凪@助走中 @nyamairi
Google BigQuery 「Googleスピード」でビックデータを扱う #devsumiD
kamehiro @kame_BWC
Googleではコードを書く時にまずスケーラビリティを考える #devsumiD
山入 凪@助走中 @nyamairi
ビッグデータを即座に解析するのにMapReduce,DWHは使えない #devsumiD
猫提督ff/kei @nekoteitoku
100PBのインデックスから価値を作り出すんだから、確かにすごいね。#devsumiD 14-D-1
山入 凪@助走中 @nyamairi
DWHの課題:コストが高い、数千万~。アドホックなデータ分析に対応しにくい。インデックスなどの事前設計が必要。 #devsumiD
猫提督ff/kei @nekoteitoku
え、Map/Reduceって数分から数時間かけてやるの? #devsumiD 14-D-1
山入 凪@助走中 @nyamairi
MapReduce:DWHほど高価でない、RDBよりもスケールする。課題:レスポンスが遅い。数分~(「Googleスピード」でない?)。バグがあるとはじめからやり直しになる。 #devsumiD
やがて( ◜◡◝ )になる @gab_km
最近は MapReduce よりも Dremel を使っている。 #devsumiD
どみにをん525 @Dominion525
最近ようやくクローンがではじめた。 #devsumiD
山入 凪@助走中 @nyamairi
Dremel:検索が早い、数百億件のフルスキャンが数十秒で完了する。インデックスが不要。アドホックな分析が可能。Googleでは2006年~運用している #devsumiD
Engineer @shirara1
「Dremel」 インデックスなしの数百億件のフルスキャンが数十秒 #devsumiD
残りを読む(35)

コメント

コメントがまだありません。感想を最初に伝えてみませんか?

ログインして広告を非表示にする
ログインして広告を非表示にする