2013/02/14 デブサミ2013【14-D-1】600億件を数十秒で検索するクラウド規模クエリサービスBigQuery #devsumiD
Developers Summit 2013 Action!
http://event.shoeisha.jp/detail/1/
＜講演概要＞
Google BigQueryは、クラウド上の数千台というサーバーを利用した大規模並列クエリサービスです。Google社内では2006年から利用されている「Dremel」と呼ばれるインフラを社外向けサービスとして公開したもので、600億件のデータに対する検索を、インデックスをまったく利用しないフルスキャンで数十秒という圧倒的なパフォーマンスで実行可能です。このDremelで利用されているカラム型ストレージのテクノロジーの解説をはじめ、BigQueryとMapReduce/Hadoopの違いと使い分け方について掘り下げます。
続きを読む
-
- いいね！0
知っ得＠ライフハック
@LifeHackEX
【知っ得】 Togetter新着 2013/02/14 デブサミ2013【14-D-7】Action!デブサミ2013オフィシャルコミュニティLT #devsumiD http://t.co/6XFnCqcS #togetter #twitter #hackEX
2013-02-10 20:20:01
ハッシュタグをアマゾンで検索してみた♪
@xhashtags
ハッシュタグをアマゾンで検索してみた♪ #devsumiD http://t.co/7C5VIr02 #sougofollow
2013-02-14 00:28:22
ハッシュタグをアマゾンで検索してみた♪
@xhashtags
ハッシュタグをアマゾンで検索してみた♪ #devsumiD http://t.co/7C5VIr02 #goen #follomejp
2013-02-14 09:56:51
nyamairi
@nyamairi
DWHの課題：コストが高い、数千万～。アドホックなデータ分析に対応しにくい。インデックスなどの事前設計が必要。 #devsumiD
2013-02-14 10:25:06
nyamairi
@nyamairi
MapReduce：DWHほど高価でない、RDBよりもスケールする。課題：レスポンスが遅い。数分～(「Googleスピード」でない？)。バグがあるとはじめからやり直しになる。 #devsumiD
2013-02-14 10:27:16
nyamairi
@nyamairi
Dremel：検索が早い、数百億件のフルスキャンが数十秒で完了する。インデックスが不要。アドホックな分析が可能。Googleでは2006年～運用している #devsumiD
2013-02-14 10:28:51