Rmakeの障害（2013/4/21）に関する調査ログ

あかさた @akasata

#Rmake ご迷惑をおかけし申し訳ありません。サーバーが落ちていました。復旧作業は完了しました。現在原因調査中です

あかさた @akasata

#Rmake 障害原因を調査中。CPU負荷の増大によるサーバーダウン → よくあるのはアプリケーションサーバ（passenger）のプロセス増加によるメモリ圧迫・・・ → エラーログにてアプリサーバのメモリ不足によるfork失敗を確認 → 前後にupload関係のエラー発見

あかさた @akasata

#Rmake アップロード中ではないかと思われるタイムアウトもしくはブラウザの読込停止関係のエラーログもいくつか。タイムアウトのせいなのかリトライをひたすら繰り返している人がいた可能性が高い。ただ、これだけなら落ちる要因にはならない

あかさた @akasata

#Rmake 異常にサイズの大きなファイルのアップロードとか回線が異常に細いとか別の要因もあると思われ。いくつかの要因が重なると、アプリサーバのプロセス数の増大を引き起こして最終的にはサーバのダウンにつながるということかな

あかさた @akasata

#Rmake サーバ側で受け入れるリクエストのサイズを若干厳しくすることと、逆にタイムアウトは若干長めにして様子を見てみることに