CloudFoundryでアプリ高負荷時の問題点についての議論

yssk22.tar.gz @yssk22_tar_gz

CloudController が usage を返してくれなくなったなう。。。まじか。これは深そうな問題...

Yuichi Uemura @u1

@yssk22 どういう状態でしょう？

yssk22.tar.gz @yssk22_tar_gz

@u1 http://t.co/TlXJPylZ こんな状態ですw

Yuichi Uemura @u1

@yssk22 あらら。。。CloudControllerのDB側にデータが無いか確認はされてます？　ただ、どちらにしても手痛い状態ですね。。。vcap tailが気になるところw

yssk22.tar.gz @yssk22_tar_gz

@u1 ええ。さっきDBみたらデータがないんですw なんかマルチスレッドでバグってるような気がしないでもない今日この頃。 そして、アプリのログをabしている最中にxhr-pollで垂れ流したらFirefox君はお亡くなりになりましたw Chrome君は元気です。

Yuichi Uemura @u1

@yssk22 DBにデータ無いとどうにもなりませんなw　発生条件が気になるところ。。。。

yssk22.tar.gz @yssk22_tar_gz

@u1 うーん、ちょっと見る感じだとDEAと同じノードに乗ってる他のプロセスがOOMKillerで殺されまくっていたので、「DEA上で ps が打てない -> けどアプリのプロセスは生きている」という状況だったんじゃないか、という推測。中途半端な状態は自殺してほしい....

Toshihiko Ikeda（池田俊彦） @tikeda123

@yssk22 @u1 悪名高いOOMKillerですな。仮想環境でもVMware Toolsのプロセスを殺し、メモリバルーニングが効かない状態になる障害を起こしています。

Yuichi Uemura @u1

@tikeda123 @yssk22 何を持ってしてその状態とみなすかという一点につきますよね。難しい。。。外部監視と二段構えでdown扱いにする以外に対象ロジックが思いつかない。。。

yssk22.tar.gz @yssk22_tar_gz

@u1 @tikeda123 うーむ。。分散環境だとやっぱり自殺機能が必須だと思うのですよ。host os からなんとかできないっすかねぇ。全部が正常じゃなければ自殺する、みたいな。

Yuichi Uemura @u1

@yssk22 @tikeda123 でも自殺プロセスすら動かない状況ですよねぇ、それって。。。

yssk22.tar.gz @yssk22_tar_gz

@u1 @tikeda123 hostからならがっつりいけませんかね。

Toshihiko Ikeda（池田俊彦） @tikeda123

@yssk22 @u1 中途半端に生き続ける。これが結構、たちが悪い。外部からアプリケーションに向けてRequest-ResponseのTATを測定し、規定時間以上になったらアラートを出すなどの仕組みが必要。

Yuichi Uemura @u1

@tikeda123 @yssk22 そのあたりの課題は次回輪読会で共有しましょう。その上でよくメンバーを見たら分散処理技術に強い人もいるので議論が出来れば理想かなーと。

yssk22.tar.gz @yssk22_tar_gz

@u1 @tikeda123 そうですな。あ、ちなみにLXCは廃案でした。VMの上に置く場合、ちっちゃいVMたててて、multi_tenant: false で、1VM=1DEA=1Appで待機させればひとまず十分という結論で。

Yuichi Uemura @u1

@yssk22 @tikeda123 VMを作る際の考え方としてLXCにするのか仮想マシンにするのかどっちなのかなぁというのが未だに答えが出てませんw

Toshihiko Ikeda（池田俊彦） @tikeda123

@u1 @yssk22 わたしから言うのも変なのですが、vmwareなので、VMでいくと思います。多分、vSphereとのCFの連携も考えていると思います。

Yuichi Uemura @u1

@tikeda123 @yssk22 VMでいく場合にちょっとオーバーヘッドが大きすぎるのが気になるところなんですよねー 主にメモリ的な意味で。

Toshihiko Ikeda（池田俊彦） @tikeda123

@u1 @yssk22 直接、アプリケーションがハイパーバイザ上で動くことはありませんが、ThinOSに期待していますww

yssk22.tar.gz @yssk22_tar_gz

@u1 @tikeda123 ああ、それは多少懸念したんですが、もうJVMをサポートしなければならない以上、いいやって結論にwww あとログ周りでコレクター君をいれるとどうしてもバッファリングのメモリを食ったりするので。。。