Open Source Summit Japan 2017 の講演 WalB: Real-time and Incremental Backup System for Block Devices のつぶやきまとめ
明日から始まるOpen Source Summit Japan 2017の2日目にWalBの発表をします。WalBはオーバーヘッドがとても低い、ブロックデバイス用のリアルタイムなバックアップシステムです。実運用での経験も話します。 ossjapan2017.sched.com/event/AOn5
2017-05-30 09:46:17Webにあるタイトルはちょっと古くて、新しいのはこれです(修正依頼は出してますがまだ更新されてないみたいです) "WalB: Real-time and Incremental Backup System for Block Devices"
2017-05-30 09:47:11Linuxのメインラインカーネルに含まれるdm-snapやdm-thinと性能比較を行い、WalBの方がIOレイテンシが小さく、バックアップにかかる時間も非常に小さいことが確認できました。(4KiBランダムライトをしつつ、裏でインクリメンタルバックアップを取る実験)
2017-05-30 09:50:08サイボウズクラウドでは毎日25TBの書き込みIOが発生。WalBは主に2つの特長がある:IOスパイクがない(IOスパイクはユーザ体験に影響)、めちゃ早くバックアップ可能(データ増加で日次バックアップできなくなると困る)。dm-snapやdm-thinは我々の要求を満たさない。
2017-05-30 09:59:25サイボウズ・ラボで開発を続けてきた「WalB」(わるびー)が、いよいよ実運用段階に入りました。Open Source Summit Japanの2日目(6月1日 11:00-)で、各種計測結果も含めて発表します。ご都合つく方は、ぜひ! twitter.com/uchan_nos/stat…
2017-05-30 13:24:13ちなみに、WalB(わるびー)はWrite Ahead Logging for Block devicesの略で、ブロックデバイスをWALを用いてバックアップするものです。
2017-05-30 13:27:41とある人にWalBの話をしたら、それは悪いBeeですかって言われたことある。(Beeというコードネームのプロジェクトが別途ある)
2017-05-30 17:49:10プロジェクトページはここかしら walb-linux.github.io twitter.com/uchan_nos/stat…
2017-05-30 21:58:49明日から open source summit かぁ NVDIMM関連のと Walb のセッションは聴いてみたいなぁ 残念ながらアレがアレだから行けないんだけども。。。
2017-05-30 23:15:58おお、Open Source Summit JapanのWalBのアブストラクトが更新されてた!嬉しい! ossjapan2017.sched.com/mobile/#sessio…
2017-05-31 06:33:57WalBはWAL(ファイルシステムでいうジャーナリングデータ)を専用のログデバイスに書き出せるところまでは、ジャナーナリング領域を別デバイスに指定できるファイルシステムと似てるけど、WALをインクリメンタルバックアップ用に常に吸い出し続けられるところが速さのポイントなのかな
2017-05-31 06:51:49WalBは構造上ファイルシステムの性能特性を変えないのがうれしそう。dm-snapやdm-thinだとLVのアドレス空間から物理デバイスのアドレス空間へのマッピングがいるけどWalBにはそういうレイヤは無い…はず。セッション見ればわかるだろう
2017-05-31 06:58:38一日の書き込みI/Oの総量が25TBなんて魔界では普通だよ twitter.com/satoru_takeuch…
2017-05-31 07:10:24すごいエンジニアの謙遜発言に「魔界では」をつけるとしっくりくる 「こんなの魔界ではふつうだよ」 「俺なんて魔界では大したことないよ」 「魔界では素人の質問なんですがいいですか」
2016-12-12 08:20:27私も関わってるバックアップシステムWalBについて、明日のOpen Source Summitで会社の人が講演します。日本語の解説資料slideshare.net/herumi/walb-is…とVagrantで試せるチュートリアルhttps://t.co/kZJUVpXCptを用意しました。
2017-05-31 08:24:53@uchan_nos WalBのバックアップはdm-snapやdm-thinに比べて本当に速いです。具体的なバックアップ時間は発表で。原理的にボリュームのデータ量に依存しないので、データがたくさん溜まって行くにつれて性能が悪化することがありません。
2017-05-31 11:50:49@satoru_takeuchi 昔 ext3 なんかは metadata だけじゃなくて file contents も journal に記録するモードがあったと思いますが、それがほぼ WalB と同様のバックアップに使えそうなイメージでした。
2017-05-31 12:18:02introduction of WalB by @herumi #backup #linux slideshare.net/herumi/walb-is… @SlideShareさんから めっちゃ面白いこれーー。
2017-05-31 13:55:52