第46回 PostgreSQLアンカンファレンス@市ヶ谷

ぬこ＠横浜 16.2 @nuko_yokohama

ロジカルデコーディング、Decodeの部分までは意識してたけど、SnapshotBuilderやReoderBufferモジュールまでは知らんかった。#pgunconf

こたつ&&みかん @kota2and3kan

ReorderBuffer が WAL の中から「Tx 毎に」情報を集める感じになるらしい。なるほど。 #pgunconf

ぬこ＠横浜 16.2 @nuko_yokohama

ReorderBufferは更新情報をトランザクションにまとめる役割を持っていると。なるほど。 #pgunconf

こたつ&&みかん @kota2and3kan

最終的に Tx が ABORT だった場合は buffer にためた内容を丸っと破棄するらしい。 #pgunconf

ぬこ＠横浜 16.2 @nuko_yokohama

@kota2and3kan wal2json、扱いやすくていいですよ。SQLのJSON関数と組み合わせてPL/pgSQLでロジカルデコーダ組めたりします。 #pgunconf

こたつ&&みかん @kota2and3kan

logical_decoding_work_mem は ReorderBuffer とかの処理で使うメモリなので、デコード対象の全ての Tx のタプルの情報を格納する。メモリがあふれた場合は Disk 等に退避するらしい。 #pgunconf

ぬこ＠横浜 16.2 @nuko_yokohama

サブトランザクションが1件INSERTのケースが非常に遅いと。へー。 #pgunconf 一番大きいTxの選び方は全探索O(n)。

こたつ&&みかん @kota2and3kan

@nuko_yokohama おぉ、なるほど。JSON 関数とも組み合わせられるんですね。JSON だとアプリ側でも扱いやすいでしょうし、よさそうですね。 #pgunconf

ぬこ＠横浜 16.2 @nuko_yokohama

SAVEPOINTコマンド、ほとんど使ったことなかったから、あんまりサブトランザクション意識したことなかったなあ。 #pgunconf

こたつ&&みかん @kota2and3kan

既存の仕組みは「サブトランザクションと相性が悪い」って感じなのか。 #pgunconf

ぬこ＠横浜 16.2 @nuko_yokohama

サブトランザクション使うときってvxid払い出されるんだろうか。 #pgunconf

たいき (Taiki) @taikik1222

合計10万件INSERTでも、10万サブトランザクションがそれぞれ1件INSERTだと、 Logical Decordingが遅い。 それぞれにSAVEPOINTやらEXEPTIONが入っちゃうから、 一番大きいトランザクションを探すのに苦労する。(O(n)) #pgunconf

こたつ&&みかん @kota2and3kan

今検討されている解決策では「最大サイズの Tx」を O(1) で探せるらしい。すごい。 #pgunconf

ぬこ＠横浜 16.2 @nuko_yokohama

最大xid探索の性能改善のために全探索からbinary heapを使うとのこと。 #pgunconf

こたつ&&みかん @kota2and3kan

121秒が 3秒にまで改善したらしい。すごい。 #pgunconf

たいき (Taiki) @taikik1222

線形ではなく、Binary Heapに変更しようとしている。 この場合、最大値の取得はO(1)、値の挿入はO(log n)になる。 来週コミットされれば、PostgreSQL 17入りになる。 #pgunconf

ﾅｶﾁｬﾝﾀﾞﾖｰ @nnaka2992

binary heapを使うときはmax connectionよりトランザクション数が多いときだから既存の用途にはほぼ問題ないらしい #pgunconf

Fujii Masao @fujii_masao

With many concurrent transactions and subtransactions, evicting the largest one from the reorderbuffer can take time. Currently, we rely on a full scan to find it for eviction. His proposal for v17 is to use a binary heap for rapid identification. #pgunconf

bbch @itabashi_a

ロジカルデコーディング、今度ちゃんと調べてみよう。 #pgunconf

こたつ&&みかん @kota2and3kan

ORM を使ってると裏で勝手に SAVEPOINT とかを使ってる場合があるので、気付かないうちにサブトランザクションが増えちゃったりすることもあるらしい。なるほど。 #pgunconf

たいき (Taiki) @taikik1222

ORマッパーを使ってると、10万サブトランザクションぐらいは、 平気で切ってくる(らしい)。 #pgunconf

Fujii Masao @fujii_masao

> His proposal for v17 is to use a binary heap for rapid identification. postgresql.org/message-id/fla… #pgunconf

ぬこ＠横浜 16.2 @nuko_yokohama

excptionをループ内で使うと、xidも消費するのか。 #pgunconf

ぬこ＠横浜 16.2 @nuko_yokohama

すとうさんの、COPY FORMATの話。 #pgunconf