イベントログ収集ツール #fluent 周りの最近の話題
-
- いいね！9
Masaki Yoshida
@ReSTARTR
やっとこさfluentについて少し見てみたけど軽量な感じだし拡張しやすそうで、かなり良い感じっぽい。 本体のコードも簡潔なように見えるけどこれがRubyの力って感じなのかな…
2011-09-30 14:04:59
じゅん
@jtakahashi64
#fluent というログ管理ツールがバズっていたので環境を作ってみたよ！というお話 http://t.co/j9OmWrgt
2011-09-30 12:54:13
Kazuki Ohta
@kzk_mover
just released fluent-plugin-scribe v0.9.9 to include @tagomoris patch.
2011-09-29 00:47:38
Ryosuke Iwanaga
@riywo
tail input pluginをコピーして、vmstatを勝手に入力するfluent plugin作ってみた。かなり適当。 http://t.co/E6yWNIkx
2011-09-30 12:01:04
oza
@oza_x86
fluent plugin for hbase を key は timestamp． column-family は tag になるように修正． http://t.co/qFciwApt #hbase #fluent
2011-09-29 03:53:34
GⷢOⷪTⷮHꙹ
@goth_wrist_cut
fluentをgrowl outにつなげて遊ぶなど。これいいなぁ。適当なスクリプト書いたときにタグでほいほい出力分けられるのか。
2011-09-30 11:52:21
Nobuyuki Kubota
@nobu_k
それ楽しそうｗｗｗ RT @goth_wrist_cut: fluentをgrowl outにつなげて遊ぶなど。これいいなぁ。適当なスクリプト書いたときにタグでほいほい出力分けられるのか。
2011-09-30 11:53:55
Sadayuki Furuhashi
@frsyuki
@goth_wrist_cut わりと早めにコードをgithubに上げた上で fluent-plugin-growl.gem をリリースして下さい^^;
2011-09-30 13:14:57
Kazuki Ohta
@kzk_mover
@tagomoris あとこれ、categoryフィールドが、fluentのタグになると便利ですかね？挙動に悩み中。
2011-09-29 00:58:04
tagomoris
@tagomoris
@kzk_mover 自分はその方が嬉しいですねー。元々メタデータだったものがbodyに入ってきちゃうとscribedそのもののメッセージと形態が変わっちゃうので面倒くさいです。あとtagがファイル名orディレクトリ名に入ると嬉しいな！(一発でhiveにLOADできるので)
2011-09-29 01:00:04
tagomoris
@tagomoris
明日のmeetupを牛耳れば俺の望むがままの分散stream processing frameworkがfluent上に作られる公開プロジェクトが立ち上がる可能性が……(ニヤニヤ
2011-09-29 01:02:00
tagomoris
@tagomoris
@kzk_mover @kzk_mover 自分がパッチ書くならって考えてたのは、あるオプションを有効にするとcategoryをtagに持っていってbodyはmessageの文字列だけになるって感じでした。期待してまーす。YAPC(ry
2011-09-29 01:03:57
tagomoris
@tagomoris
out_hoopを作ってラクラクに書けるけど性能問題に悩むのと、out_hdfsにいきなり取り掛かって茨の道をどこまで行けるかわからないまま突き進むのではどちらが明るい未来だろう
2011-09-29 01:04:50
Kazuki Ohta
@kzk_mover
@tagomoris Scribeでlogを転送した時って、category情報はルーティングのみに使われて、保存されたデータには含まれないという理解で良いのでしょうか…? ^_^;
2011-09-29 01:05:28
tagomoris
@tagomoris
@kzk_mover 保存時に基本的に $category/filename みたいな感じになるので、カテゴリごとに場所が分かれますね。もしくはその手前で store で分岐するか。
2011-09-29 01:06:46
チーフ データサイエンティスト@トレジャ
@doryokujin
明日の #fluent meet-up が濃すぎる件 Fluent Meetup #1 : ATND - http://t.co/DQLyKMZn
2011-09-29 01:07:34
tagomoris
@tagomoris
@kzk_mover ああ、で、ログ行には含まれません。時刻とかの付加もなし。scribeは基本的に渡されたmessageを書き出すだけで、末尾に改行を追加するかどうかだけ選べます。
2011-09-29 01:07:59
Kazuki Ohta
@kzk_mover
@tagomoris なるほど。ではcategoryをtagに使ってしまって良さそうです。outputプラグインでtag情報を使って書きだすpluginを作れば良さそう。 > (例) http://t.co/E04lLQ3B
2011-09-29 01:08:48