out_forward って詰まると性能劣化する?

4
Sadayuki Furuhashi @frsyuki

@tagomoris buf_file/memoryの設定に、ログを捨てる挙動の設定があってもいいですね。現在はlast outしかない。N回失敗したら全部捨てるが(既存の挙動)、オプションでM回(M < N)までリトライして失敗した場合はfirst outで捨てる、とか。

2013-11-27 15:51:00
tagomoris @tagomoris

@frsyuki そうですねー。ただやるならv11でそうする、くらいかなあ

2013-11-27 15:53:00
そのっつ (Naotoshi Seo) @sonots

正確には rotatelogs ではなくそういうアプリがあって、自分で最新ログへの symlink を特定のパスに貼り直すスクリプトを書いて cronで回している。

2013-11-27 15:53:32
Urgent task resolver @ryopeko

rotatelogs を tagomoris に空目した

2013-11-27 15:54:55
tagomoris @tagomoris

最後の s しかあってないw RT @ryopeko: rotatelogs を tagomoris に空目した

2013-11-27 15:55:53
SKS rep @repeatedly

スタートレックをスタックトレースに空目するのつらい

2013-11-27 15:57:17
SKS rep @repeatedly

Fluentd本体でagent-liteと同じ挙動にするのは難しい…

2013-11-27 16:00:52
そのっつ (Naotoshi Seo) @sonots

おぉ、buffer_chunk_limit 小さくして buffer_queue_limit 大きくしたら限界超えた場合でもスムーズに流れ始めた。

2013-11-27 16:32:03
SKS rep @repeatedly

@sonots あれ,flush_intervalはいくつなんでしたっけ?

2013-11-27 16:33:29
そのっつ (Naotoshi Seo) @sonots

@repeatedly MAXで送り込みたかったので0にしています。

2013-11-27 16:33:51
そのっつ (Naotoshi Seo) @sonots

スループットは落ちた、のかな。ちゃんと比較してみないとわからないけど、落ちたような気がする

2013-11-27 16:34:24
そのっつ (Naotoshi Seo) @sonots

あと、この評価やってると sudo /etd/init.d/td-agent stop で td-agent 死なないことがあるんだけどなんだろコレ。時間かかってるだけ?

2013-11-27 16:34:59
そのっつ (Naotoshi Seo) @sonots

死んだの確認せずにすぐ抜けるんだっけか。。。 > td-agent stop

2013-11-27 16:35:41
そのっつ (Naotoshi Seo) @sonots

っぽいな。時間おいて確認してみよう。RT @sonots: 死んだの確認せずにすぐ抜けるんだっけか。。。 > td-agent stop

2013-11-27 16:36:14
SKS rep @repeatedly

@sonots シグナルハンドリング周りもっと綺麗にしたい…

2013-11-27 16:36:33
SKS rep @repeatedly

それよりも,Cool.ioがTimerの時間待つ問題をどうにかしたい.libevにはそういうの無視してkillするのあるんだっけ?

2013-11-27 16:37:37
SKS rep @repeatedly

service経由で操作している時はちゃんと終了する?そうではない?fluentdを直接動かしている人はfluentdのプロセスがたまに残る問題は起きてない?気になる点はいくつかある

2013-11-27 16:38:57
そのっつ (Naotoshi Seo) @sonots

うん、時間かかったけど死んだ > td-agent stop

2013-11-27 16:42:14
SKS rep @repeatedly

あれ,でもflush_interval 0だったら,チャンクに貯まりきる前にflushするから,そんなにbuffer_***_limitの影響受けなさそうなもんだけども

2013-11-27 16:42:29
tagomoris @tagomoris

@repeatedly in_tail が1回のI/Oでアホみたいな量を読み込んだら、それを書ききるまではflushされなくなるんじゃないかな

2013-11-27 16:43:53
SKS rep @repeatedly

@tagomoris ああああ,それは確かに.1個のEventStreamのサイズはありますね

2013-11-27 16:46:25
SKS rep @repeatedly

スレッド増やせばqueueの処理も効率良くなるしな

2013-11-27 16:47:30