イベントログ収集ツール #fluent 周りの最近の話題
out_hdfsはどうすっかなあ. libhdfs (地雷臭…) / jruby (msgpack-jrubyが…) / hoop (performance…)
2011-09-29 01:16:13pluginの開発はこんな感じでやってる > FLUENT_PLUGIN=$SCRIBE_PLUGIN_DIR/lib/fluent/plugin/ ./bin/fluentd --config $SCRIBE_PLUGIN_DIR/example.conf -v -v -v
2011-09-29 01:24:21@repeatedly 自動でcollection作らないオプション(デフォルトは常に作成), capped collection使うか使わないかオプション、パフォーマンス測定、etc.
2011-09-29 01:31:59@kzk_mover 了解w Redisではもっと色々な使い道ができそうなはずなんですよ!そこは是非とも #fluent で実現させたい!
2011-09-29 01:32:43僕もまずは fluent-plugin-doryokujin を。RT @kzk_mover: fluent-plugin-kzk は俺が死守する
2011-09-29 01:35:56マヂですか…何から着手すれば…RT @voluntas: 米Basho、分散Key-Valueストア型データベースシステム「Riak 1.0」を発表 - SourceForge.JP Magazine : オープンソースの話題満載: http://t.co/qZWLMuVn
2011-09-29 01:39:26@repeatedly 一回mongoを落としてみてreconnectionをmongo-rbでしてくれてそうなら楽だねー
2011-09-29 01:41:10@repeatedly @kzk_mover CappedCollectionにしたいつもりだったけど既にコレクションがあって失敗する場合のハンドリングとかは・・・
2011-09-29 01:41:30ログ転送のプラグイン(out_stream)は、writeのたびにconnectしてsendしてcoleusしてます。バッファリングしているので、connectのオーバーヘッドはそれほど気にならないかなーと。
2011-09-29 01:44:14Gremlinに接続するプロトコルの仕様ってどこにあるんだろ。Rexsterのはすぐ見つかるからそっち使えということだろうか
2011-09-29 01:47:27@bibrost StreamingでGraphで何とかというよりも、Streaming(Realtime) Recommendationといった裏ではGraphを使いつつも表では具体的なロジック結果をどんどん流していくような形になると思うんですよねぇ。
2011-09-29 01:50:49@bibrost そういう意味でGraph系は一枚レベル上のソリューションですねぇ…ビジネスになりますよー(・∀・)ニヤニヤ
2011-09-29 01:51:18@doryokujin Graphは素材(しかも扱いにくい)なので、料理するためのツールも容易していかないと厳しいですねえ。裏でIndex生成するためのEventを流したり
2011-09-29 01:54:34