第6回 中国地方DB勉強会 in 山口

tkt@KIMIKOE&POPIN-Q応援中 @takatayoshitake

プログラム 誤: GDD中国 -> 正: GDG中国 dbstudychugoku.doorkeeper.jp/events/16775 ( #Chugokudb live at ustre.am/12hsx )

そーだい@初代ALF @soudai1025

Google App Scriptは需要あると思うなぁ。　 #ChugokuDB

そーだい@初代ALF @soudai1025

BigQueryはアップデートがなくてインサートのみ。Deleteもtable単位なので行単位で消すなどは出来ない。　 #ChugokuDB

tsuda.a @tsuda_ahr

Google BigQuery 、追加のみ変更不可、削除はブロック単位？ #ChugokuDB

そーだい@初代ALF @soudai1025

0件でも1件でも3億件でも5秒から7秒くらい。 0件でも5秒くらいかかるのがキモ。 処理したデータ量が10Gだろうが同じ。　 #ChugokuDB

そーだい@初代ALF @soudai1025

BigQueryの仕組み 「1TBで1秒でフルスキャンするには5000台のディスクがあれば良い。」 マシンパワーで返す。 #ChugokuDB

tkt@KIMIKOE&POPIN-Q応援中 @takatayoshitake

1TBのデータを1秒でフルスキャンにするには5,000台のディスクが必要 goo.gl/m6b1UC ( #Chugokudb live at ustre.am/12hsx )

そーだい@初代ALF @soudai1025

BigQueryは大量データと相性がいい ・ログ ・Twitterのつぶやき など #ChugokuDB

そーだい@初代ALF @soudai1025

BigQueryはワンポイントで使うのが強い。他のサービスと使うのがいい。　 #ChugokuDB

tkt@KIMIKOE&POPIN-Q応援中 @takatayoshitake

Google Developers Console , Projectを作る時にBigQueryAPIを有効にする console.developers.google.com ( #Chugokudb live at ustre.am/12hsx )

tkt@KIMIKOE&POPIN-Q応援中 @takatayoshitake

大量のデータを投入する時は Google Cloud Storage でデータを用意 cloud.google.com/storage/ ( #Chugokudb live at ustre.am/12hsx )

tsuda.a @tsuda_ahr

一件しかないのに4.6秒かかります！ #ChugokuDB

tsuda.a @tsuda_ahr

キャッシュを使うと2.7秒になりました！ ＞1件 #ChugokuDB

tsuda.a @tsuda_ahr

そういえば、Oracle って Boolean ってサポートしないんですかねえ… #ChugokuDB

tkt@KIMIKOE&POPIN-Q応援中 @takatayoshitake

BigQuery Dataset 作成時に課金情報を登録していなかったらエラーになる Queryかなり沢山叩いても数十円程度らしい ( #Chugokudb live at ustre.am/12hsx )

tsuda.a @tsuda_ahr

Python がいいとか悪いとか論争はじまる。 #ChugokuDB

tkt@KIMIKOE&POPIN-Q応援中 @takatayoshitake

BigQuery を CLI で使うにはGoogle Cloud SDKをインストールする必要あり cloud.google.com/sdk/ ( #Chugokudb live at ustre.am/12hsx )

tamagawa ryuji @tamagawa_ryuji

@tsuda_ahr ちなみにキャッシュが効くかどうかは、SQLの文面＋アクセス先のテーブルの最終更新時刻に変更がないかどうかで決まります。　#ChugokuDB

そーだい@初代ALF @soudai1025

BigQueryのフラット化って要は直積かー。 #ChugokuDB

tsuda.a @tsuda_ahr

「自分は素人」とかいっている講師がいる… #ChugokuDB

tamagawa ryuji @tamagawa_ryuji

@soudai1025 この辺は、BigQuery SQLでちょっと癖のある部分です。 #ChugokuDB

そーだい@初代ALF @soudai1025

@tamagawa_ryuji そうですね、RDBの感覚だとあまり出会うことのない感覚なのでレコード化するよりはそのまま使うことのほうが多そうですね。　 #ChugokuDB

doi-t @DDDDoi

今日は現実業により今回も内容が濃密そうな #ChugokuDB にエア参加すらできませんでした。後日Ust拝見します。

そーだい@初代ALF @soudai1025

おっぱいは意外とツイートされてる（横山さん調べ #ChugokuDB

tkt@KIMIKOE&POPIN-Q応援中 @takatayoshitake

BigQuery でTwitterログ検索のデモ ( #Chugokudb live at ustre.am/12hsx )