イベントログ収集ツール #fluent 周りの最近の話題

@tagomoris ほいほいｗひとまず input 側は直しちゃいます

2011-09-29 01:10:30

out_hdfsはどうすっかなあ. libhdfs (地雷臭…) / jruby (msgpack-jrubyが…) / hoop (performance…)

2011-09-29 01:16:13

そうか out_file の path パラメータで、#{tag} みたいな指定ができるといいな

2011-09-29 01:22:26

path /var/log/%T/ こんな。

2011-09-29 01:23:02

pluginの開発はこんな感じでやってる > FLUENT_PLUGIN=$SCRIBE_PLUGIN_DIR/lib/fluent/plugin/ ./bin/fluentd --config $SCRIBE_PLUGIN_DIR/example.conf -v -v -v

2011-09-29 01:24:21

fluent-plugin-XXX の名前争奪バトルが勃発している。

2011-09-29 01:31:03

@repeatedly 自動でcollection作らないオプション(デフォルトは常に作成), capped collection使うか使わないかオプション、パフォーマンス測定、etc.

2011-09-29 01:31:59

@repeatedly あとreplica-setの指定か。

2011-09-29 01:32:33

@kzk_mover 了解ｗ Redisではもっと色々な使い道ができそうなはずなんですよ！そこは是非とも #fluent で実現させたい！

2011-09-29 01:32:43

fluent-plugin-XXXが激戦区すぎる

2011-09-29 01:33:19

@repeatedly あと、接続が切れたときの再トライ周り, などなどｗｗｗ言うだけ言ってみたｗ

2011-09-29 01:34:06

fluent-plugin-kzk は俺が死守する

2011-09-29 01:35:18

僕もまずは fluent-plugin-doryokujin を。RT @kzk_mover: fluent-plugin-kzk は俺が死守する

2011-09-29 01:35:56

マヂですか…何から着手すれば…RT @voluntas: 米Basho、分散Key-Valueストア型データベースシステム「Riak 1.0」を発表 - SourceForge.JP Magazine : オープンソースの話題満載: http://t.co/qZWLMuVn

2011-09-29 01:39:26

@doryokujin つ fluent-plugin-riak

2011-09-29 01:40:01

@kzk_mover なるほど一挙両得ｗｗｗ

2011-09-29 01:40:16

@repeatedly 一回mongoを落としてみてreconnectionをmongo-rbでしてくれてそうなら楽だねー

2011-09-29 01:41:10

@repeatedly @kzk_mover CappedCollectionにしたいつもりだったけど既にコレクションがあって失敗する場合のハンドリングとかは・・・

2011-09-29 01:41:30

ログ転送のプラグイン（out_stream）は、writeのたびにconnectしてsendしてcoleusしてます。バッファリングしているので、connectのオーバーヘッドはそれほど気にならないかなーと。

2011-09-29 01:44:14

Gremlinに接続するプロトコルの仕様ってどこにあるんだろ。Rexsterのはすぐ見つかるからそっち使えということだろうか

2011-09-29 01:47:27

rexsterの犬が不細工すぎる。Gremlinはいいデザインなのに

2011-09-29 01:48:27

@bibrost StreamingでGraphで何とかというよりも、Streaming(Realtime) Recommendationといった裏ではGraphを使いつつも表では具体的なロジック結果をどんどん流していくような形になると思うんですよねぇ。

2011-09-29 01:50:49

@bibrost そういう意味でGraph系は一枚レベル上のソリューションですねぇ…ビジネスになりますよー（・∀・）ﾆﾔﾆﾔ

2011-09-29 01:51:18