イベントログ収集ツール #fluent 周りの最近の話題
-
- いいね！9
Kazuki Ohta
@kzk_mover
個人的には他のnosql pluginに流せる、fluent-plugin-aggregationが熱いので doryokujin 先生に期待...
2011-09-29 01:56:50
チーフ データサイエンティスト@トレジャ
@doryokujin
@kzk_mover そこですよそこ！fluentを利用して上流からばんばんAggregationしていってネットワーク帯域を節約していくことこそ僕の野望… #gluent-plugin-aggregation
2011-09-29 01:59:20
Sadayuki Furuhashi
@frsyuki
TimeSlicedOutput を作った最初の理由は、ファイルをきっちり分けるためではなく、きっちり集約するためだったりする…！ ので fluent-plugin-aggregation 期待。
2011-09-29 02:01:29
チーフ データサイエンティスト@トレジャ
@doryokujin
@yuki24 @kzk_mover くっ先をとられましたねぇｗChunkを一気にRedisに渡すのにpipelining(Transaction)が使いたかったのですが、失敗したときのハンドリングをfluent側に渡せるのかが気になってたりしました。
2011-09-29 02:04:49
チーフ データサイエンティスト@トレジャ
@doryokujin
@yasutake @kzk_mover ローカルに集まったデータに対して大規模集計を行うのとは別手段として、データをStreamingさせてその上流からAggregationをしかけて行くというのは効率的で省エネな戦略だと思っています。今回はそこにチャレンジしたいと思っています
2011-09-29 02:08:03
チーフ データサイエンティスト@トレジャ
@doryokujin
それは話が早いｗRT @frsyuki: ぁところで行きます^^; "Fluent Meetup #1" http://t.co/DQLyKMZn
2011-09-29 02:10:54
枇々木聖@片付け中
@hibiki_hijiri
作者ｷﾀｰ! RT @frsyuki: ぁところで行きます^^; "Fluent Meetup #1" http://t.co/AAoisYGW
2011-09-29 02:14:23
枇々木聖@片付け中
@hibiki_hijiri
Apacheとかのログとは別で、アプリから非同期にグラフを生成するための情報を裏へ送りつけるために使えないかと画策中
2011-09-29 02:20:26
Kazuki Ohta
@kzk_mover
@doryokujin @bibrost ぜひ、graphiteに！ > http://t.co/reePaiuH
2011-09-29 02:23:57
枇々木聖@片付け中
@hibiki_hijiri
あー、こういうツールにデータを投入してグラフを作らせるっていう手もあったなぁ・・・。jQueryのしょっぱいChart使ってる場合ではなかったのか
2011-09-29 02:32:20
methane
@methane
@frsyuki ということは、再接続したときに、その前エラーになったログは失われるかもしれないということでしょうか？ #fluent
2011-09-29 02:32:59
Sadayuki Furuhashi
@frsyuki
@methane 再接続というか、コネクションはデータを送信するたびに張り直しています。ログはある程度バッファリングして送信していて、チャンク単位で送ります。このチャンクの送信中にエラーが起きた場合は…状況によってダブるか失われますね。
2011-09-29 02:40:24
Sadayuki Furuhashi
@frsyuki
ログ転送のコードは、もう少しがんばって実装できることは間違いないなぁ。チャンクにidを付ける、受信したチャンクのIDを受信側で一定期間記憶しておく、などなど。ただ確率を改善するという話だけども。実装はわりと大変。
2011-09-29 02:46:09
methane
@methane
UDPのsyslogdに比べるとスゲー魅力的だな。バイト数制限は無いしチャンク単位で送信するからネットワークの負荷も低そうだしルーティング機能があるし。
2011-09-29 03:15:31
枇々木聖@片付け中
@hibiki_hijiri
とりあえずfluentからrexsterにデータ送るだけのとこまでは書いた... http://t.co/T3apBGXe #fluent
2011-09-29 08:41:43
枇々木聖@片付け中
@hibiki_hijiri
inputはhttpでjson渡せるのいいな。即座に受け取る必要がないものをとりあえず流しておくのにも使えそう
2011-09-29 08:48:08