fluent-plugin-s3で、time_slice_format %Y%m%dにしてても、一日に複数ファイルがでてくる件

Kazuki Ohta @kzk_mover

@Spring_MT out_s3のページにも説明を追加しました〜 > http://t.co/Oy9bF3At

Sadayuki Furuhashi @frsyuki

大丈夫です。それ今さっき @kzk_mover が足したドキュメントです…！ RT @Spring_MT: bufferのことちゃんｔ書いてあった、、 すみません http://t.co/Sf0DNXTi #fluentd

Sadayuki Furuhashi @frsyuki

たぶん out_file で compress gz を指定した場合も同じ。デフォルト 8MB だと小さすぎるかな。TimeSlicedOutput で buf_file だったらデフォルト値を 200MB くらいにするべきだろうか… #fluentd

Sadayuki Furuhashi @frsyuki

buffer_chunk_limit は 8MB なのだけど、出来上がるファイルは圧縮されているので、TimeSlicedOutput であるのに 200KB くらいのファイルが同じ時間に複数できておかしいように見えるという事案が、out_s3 プラグインで発生。

はるやま | Makoto Haruyama @Spring_MT

@frsyuki 確かに>_< ありがとうございます！

Sadayuki Furuhashi @frsyuki

@Spring_MT buffer_chunk_limit 128m です。最後の m でMBの意味になります。ないと128バイトになるので^^;

Kazuki Ohta @kzk_mover

@frsyuki @Spring_MT うむ、載せます。

Sadayuki Furuhashi @frsyuki

@kzk_mover 新ドキュメントで、buffer_chunk_limit の説明を移行し忘れているっぽいです。buffer_queue_limit と一緒に、どこかには説明があった方が良さそうですが、どうしましょ？ cc: @Spring_MT

はるやま | Makoto Haruyama @Spring_MT

ん、out_s3にそんなのないぞ

はるやま | Makoto Haruyama @Spring_MT

@frsyuki あ、<match pattern>の中にbuffer_chunk_limit 128とか書けばいいのか

はるやま | Makoto Haruyama @Spring_MT

@frsyuki out_s3はs3に転送するときに圧縮かけてたはずなので、buffer_chunk_limitですね、、、、これどこで設定するんですかね、、、document見てものってないっす >_<

Sadayuki Furuhashi @frsyuki

@Spring_MT おーなるほど！ならば buffer_chunk_limit ですね！

はるやま | Makoto Haruyama @Spring_MT

@frsyuki 多分、gzで圧縮かかってるので、解凍したファイル見たら丁度8Mでした！

Sadayuki Furuhashi @frsyuki

@Spring_MT flush_interval がセットされていると、定期的にファイルを書き出す挙動になりますが、forest もセットしないですよねぇ…。S3上のファイルの作成日時が一定間隔だったら、flush_interval が若干怪しい気がします。

Sadayuki Furuhashi @frsyuki

@Spring_MT buffer_size_limit ではなくて buffer_chunk_limit でしたorz　しかし v0.10.27 の buf_file だとデフォルトで 8MB なので、何か違う気がする…。

はるやま | Makoto Haruyama @Spring_MT

document読んだけど、そんな設定あったけなあ

はるやま | Makoto Haruyama @Spring_MT

@frsyuki buffer_size_limitって設定できるんでしたっけ、、

はるやま | Makoto Haruyama @Spring_MT

@frsyuki fluentd のバージョンは 0.10.27です！

Sadayuki Furuhashi @frsyuki

@Spring_MT お、そのファイルサイズ傾向は、buffer_size_limit が小さそうですね。ついでにfluentdのバージョンいくつですか？

はるやま | Makoto Haruyama @Spring_MT

@frsyuki ファイル郡はこんな感じです　https://t.co/BfA6Xv1I

Sadayuki Furuhashi @frsyuki

@Spring_MT あ、それ forest を使っているからでは。

Sadayuki Furuhashi @frsyuki

@Spring_MT 実際に作成されるファイルのファイル名群はどんなですか？

はるやま | Makoto Haruyama @Spring_MT

@frsyuki 一台でS3に書いています。path等の設定はこちらになります。https://t.co/gmqWKdCF

Sadayuki Furuhashi @frsyuki

@Spring_MT 複数のFluentdからS3に書いていれば複数になりますが、1台ですか？ 具体的にどんなファイルパスでしょう？

はるやま | Makoto Haruyama @Spring_MT

@frsyuki time_slice_waitを増やしてみました(5m -> 20m)が、ファイルが複数になりますね、、、 ファイルの中身も確認しましたが、time_slice_waitより間隔が空いてることはなかったです。