DB Tech Showcase Tokyo 2018: C23『GPUとNVMEでPostgreSQLの限界に挑む』実況と反応まとめ

1
gonsuke777 @ora_gonsuke777

Join/Agg/ScanをGPU側にオフロードするロジックを「気合」で作成 彡(゚)(゚) #dbts2018

2018-09-20 13:05:29
Tadashi Yamashita @tadayima_jp

#dbts2018 #C23 SSDとGPUの距離......拡張ボックスをまたがっちゃダメ。 PCIのバストポロジーをみて把握しておく。

2018-09-20 13:06:38
gonsuke777 @ora_gonsuke777

GPUとSSDのマトリクスを作成 彡(゚)(゚) #dbts2018

2018-09-20 13:06:51
gonsuke777 @ora_gonsuke777

GPU⇔SSDのデータ転送をI/O拡張ボックスで跨らないようにする。 彡(゚)(゚) #dbts2018

2018-09-20 13:09:04
gonsuke777 @ora_gonsuke777

サーバー1台、I/O拡張ボックス3台にGPU/SSDを内蔵してベンチマーク、10GB/sec以上を達成 彡(゚)(゚) #dbts2018

2018-09-20 13:09:40
Tadashi Yamashita @tadayima_jp

#dbts2018 #C23 単純にストレージからデータを持ってくるより、拡張ボックスでクエリー実行した場合の方がIO性能良い!?

2018-09-20 13:09:44
Hiroshi Sekiguchi 🍥 @discus_hamburg

#dbts2018 このセッションも面白い 動いてる海外さんは初。 pic.twitter.com/r5i5FnRDRo

2018-09-20 13:10:54
拡大
gonsuke777 @ora_gonsuke777

SSDとGPUを搭載したI/O拡張ボックスが、Exadataで言うところのStorage Serverっぽく動くんやな。 彡(゚)(゚) #dbts2018

2018-09-20 13:11:19
gonsuke777 @ora_gonsuke777

さっきも呟いたけどGPU側にJoinをオフロードできるのは魅力的 彡(゚)(゚) #dbts2018

2018-09-20 13:12:04
Tadashi Yamashita @tadayima_jp

#dbts2018 #C23 生ログをとりあえず PostgreSQLにためておいて分析とかに向いているかも。 分析に使えると思うので、あえてカラムナーとかに移行しなくても、従来のI/Fが使えるのでこれがメリットだと思う。

2018-09-20 13:12:23
gonsuke777 @ora_gonsuke777

昔苦しんだデータ&SQLをこいつで動かしてみてぇ…… 彡(-)(-) #dbts2018

2018-09-20 13:13:24
Tadashi Yamashita @tadayima_jp

#dbts2018 #C23 GPUは計算用だと思っているかもしれないけど、使い様によっては、実質IO性能の向上に有効。

2018-09-20 13:13:33
ブリンガー @bringer1092

ExpEther I/O 拡張ユニットって軽く調べた限り40GのNICで繋がるのかな #dbts2018

2018-09-20 13:14:49
Tadashi Yamashita @tadayima_jp

#dbts2018 #C23 スライドシェアで資料公開 Twitter @kkaigai まで問い合わせOKとな....

2018-09-20 13:15:24
ブリンガー @bringer1092

PG-stormのこの検証環境の冷却と消費電力が気になる どこに置いて検証したんだろう #dbts2018

2018-09-20 13:16:54
ブリンガー @bringer1092

EYPCのレーンなら何台ExpEtherで接続できるんだろう #dbts2018

2018-09-20 13:26:16
gonsuke777 @ora_gonsuke777

GPUでPostgreSQLのセッション終了。素晴らしい技術やと思います。@kkaigai さん、お疲れ様でした! #dbts2018 彡(^)(^)

2018-09-20 13:26:42
海外 浩平|KaiGai Kohei🌻 @kkaigai

NECさんのサーバ室だと思います。(リモートなので現物は見ていない) twitter.com/bringer1092/st…

2018-09-20 13:36:38
ブリンガー @bringer1092

PG-storm聞いていたらハードウェアごとの個別最適化をすごい考えている #dbts2018

2018-09-20 13:29:39
yoshio masaki @yoshiomasaki

#dbts2018 #PGStrom #PostgreSQL I/O拡張ボックス安くなんないかなぁ パーティションあたりとかPostgreSQL11の技術前提なんだろうか。

2018-09-20 13:30:20
akitow @akitow_

@kkaigai 拝聴しました。更新があって、SSDよりメモリのバッファのデータが新しい時に、どう対処されているのか気になりました。

2018-09-20 13:30:29
海外 浩平|KaiGai Kohei🌻 @kkaigai

カーネルモジュール(nvme_strom)がページキャッシュの有無を調べ、ページキャッシュが存在する時はRAM-to-GPUになるよう動作が変わります。 twitter.com/akitow_/status…

2018-09-20 13:37:52
海外 浩平|KaiGai Kohei🌻 @kkaigai

ちなみに、これにはもう一つモードがあり、「Dirtyなページキャッシュのみ」RAM-to-GPUにするモードもあります。 これは、高速なSSDの場合細切れにRAM-to-GPUを行うより、SSD-to-GPUの方が性能が出る場合があるためです。

2018-09-20 13:39:25