俺メモ'bout storage by @hasegaw 'n @yoheia

なんか面白そうな会話だったのでメモっといたストレージの話。 首都圏の人はこういう濃密な会話を、その気になればスニーカーネット上でもできるから羨ましいな。
0
Takeshi HASEGAWA @hasegaw

いま unplug timer ないんだっけ??

2016-09-12 11:04:34
Takeshi HASEGAWA @hasegaw

unplug timer が発動したときってawaitにはいるのかな?

2016-09-12 11:04:23
Takeshi HASEGAWA @hasegaw

おしえて小崎がちゃぴんさん

2016-09-12 11:04:46
Takeshi HASEGAWA @hasegaw

ioDriveを購入してはじめてミドルウエアの性能限界やOSの性能劣化にブチあたった人々はよく私に「御社の不具合では」とお手紙くれましたね。

2016-09-15 15:18:21
Takeshi HASEGAWA @hasegaw

Oracle DBがNUMAのローカルメモリ使い果たしてswapするのを理由に問い合わせがきて、無償で上位モデルにアップグレードすることになったお客さんは今元気にしているだろうか。

2016-09-15 17:34:29
az @yoheia

@hasegaw LOCK_SGA、swapiness、zone_reclaim_mode、HugePage などありますよね...

2016-09-15 17:44:53
Takeshi HASEGAWA @hasegaw

MySQLで性能があまり伸びないのに dd で追加の負荷をかけると10倍の性能が出る、と、不具合の再現ビデオを送ってくれたお客さん、いまでも感謝してます。今でも使ってくれてるかな。

2016-09-15 17:35:58
az @yoheia

@hasegaw DBのデータファイルを dd で読んで、ページキャッシュにウォームアップしてた感じですか?

2016-09-15 17:49:05
Takeshi HASEGAWA @hasegaw

@yoheia 例の unplug 漏れですよ。dd でずっと 4K の read 負荷をかけると read ワークロードで、 unplug されていなかった write も unplug されるので性能が元に戻るという。その負荷かけてて普通に動くアレも恐ろしいけどw

2016-09-15 17:50:27
az @yoheia

@hasegaw おお、それは興味深い。iostat で切り分けて、ftrace で特定するケースですね。blktrace でも兆候がつかめるかもしれませんね。

2016-09-15 18:00:49
Takeshi HASEGAWA @hasegaw

@yoheia blktrace か ftrace かどっちか使いましたね

2016-09-15 18:01:22
Takeshi HASEGAWA @hasegaw

追加のワークロードをかけるとトランザクション性能があがってしまう現象、 terminal で実演してるビデオ見たときは衝撃だったぞ。「そんなわけなやろ! ないやろ…… エエェエェェェェエエ!」だったからね。あれ見てしまったら「不可解ですね、今から調べに伺います」としか返せなかった

2016-09-15 17:57:20
az @yoheia

@hasegaw その時の iostat 見てみたかったです

2016-09-15 18:04:21
Takeshi HASEGAWA @hasegaw

@yoheia 古いドライバ使えば再現できるはずなのでやってみるか

2016-09-15 18:04:51
az @yoheia

@hasegaw さすが自宅で 9 μs の長谷川さん

2016-09-15 18:21:38
az @yoheia

長谷川さんの事例ツイートを見てるだけで勉強になる。一般化してどこかに書いてほしいw

2016-09-15 18:23:34
Takeshi HASEGAWA @hasegaw

畔勝さんと話してる件、再現スクリプトは出てきた。

2016-09-15 18:24:35
Hisao Tsujimura @hisaotsu

IOPS の話ばかり見るけど、データ転送量をセットで見かけないんだよね…。それてもデフォでどこかで決まっているのか?

2016-09-15 18:26:17
Takeshi HASEGAWA @hasegaw

IOPS性能が本当に暴力的なストレージシステムだと、そもそもIOPSの話をしないんだよね。

2016-09-15 18:27:25
Takeshi HASEGAWA @hasegaw

こいつは Write 530,000 IOPS ですって言ったってアプリケーションやミドルウェアがそんな IOPS 性能出すほどの負荷かけられないからな

2016-09-15 18:28:08
Takeshi HASEGAWA @hasegaw

たぶん前にも書いてると思うけど、ストレージシステムのIOPS性能は使い切っちゃいけないんだよ。100万IOPSのシステムで100万IOPS使ってしまうとそのストレージシステムは飽和状態になる。レイテンシー性能がよく暴力的なIOPSのストレージで、IOPSに余裕を持たせる。これな

2016-09-15 18:31:41
Takeshi HASEGAWA @hasegaw

たとえばHPEのNVDIMM-Nが当たり前のようにシングルスレッドの4KBライトで100,000IOPS超えるとはいえ、デバイス10us/IOPS未満でも、ミドルウェアやシステムコール発行してワールドチェンジしたらすぐに数usなんて吹っ飛んじゃって、折角の優位性も簡単に無にできる

2016-09-15 18:41:08
オリオスペック【公式】 @OLIOSPEC

そう言えば、最速SSDの Intel P3608 が今日もお客様注文分が入荷していました。在庫じゃないのでご案内だけ。 oliospec.com/shopbrand/ct86… pic.twitter.com/n1pMcJmVXp

2016-09-15 18:45:35
拡大
Takeshi HASEGAWA @hasegaw

イ●テルのエンジニアをモツ鍋に軟禁して飲ませてマイクロコードレベルでレジスタファイルをどうマネジメントしているのか洗いざらいに吐かせたい

2016-09-15 18:51:05