2011年9月30日

イベントログ収集ツール #fluent 周りの最近の話題

話題沸騰中の新しいログ収集ツール「fluent」のまとめです。 "It's like syslogd, but uses JSON for log messages" "イベントログ収集ツール fluent リリース!" http://d.hatena.ne.jp/viver/20110929/p1 続きを読む
13
Masaki Yoshida @ReSTARTR

やっとこさfluentについて少し見てみたけど軽量な感じだし拡張しやすそうで、かなり良い感じっぽい。 本体のコードも簡潔なように見えるけどこれがRubyの力って感じなのかな…

2011-09-30 14:04:59
Masaki Yoshida @ReSTARTR

out_xxx.rbというプラグインもデータソースへの接続とWrite処理を書くだけって感じも良いすねー。

2011-09-30 14:07:34
じゅん / Junichi Takahashi @jtakahashi64

#fluent というログ管理ツールがバズっていたので環境を作ってみたよ!というお話 http://t.co/j9OmWrgt

2011-09-30 12:54:13
Kazuki Ohta 💎 @kzk_mover

fluentのrpm/debを今日明日中に用意しまする

2011-09-28 18:51:58
Kazuki Ohta 💎 @kzk_mover

安定したpluginをまとめた奴を提供しまする

2011-09-28 18:52:40
Kazuki Ohta 💎 @kzk_mover

just released fluent-plugin-scribe v0.9.9 to include @tagomoris patch.

2011-09-29 00:47:38
じゅん / Junichi Takahashi @jtakahashi64

#fluent あと Node.js 用のクライアントを npm に登録したhttp://t.co/wvLD5Nd3

2011-09-30 12:54:54
oza @oza_x86

fluent の hbase プラグインはこんな感じかなー? http://t.co/GleUwnKI #hbase #fluent

2011-09-28 17:15:30
Ryosuke 🇨🇦 Iwanaga @riywo

tail input pluginをコピーして、vmstatを勝手に入力するfluent plugin作ってみた。かなり適当。 http://t.co/E6yWNIkx

2011-09-30 12:01:04
oza @oza_x86

fluent plugin for hbase を key は timestamp. column-family は tag になるように修正. http://t.co/qFciwApt #hbase #fluent

2011-09-29 03:53:34
GⷢOⷪTⷮHꙹ @goth_wrist_cut

fluentをgrowl outにつなげて遊ぶなど。これいいなぁ。適当なスクリプト書いたときにタグでほいほい出力分けられるのか。

2011-09-30 11:52:21
Nobuyuki Kubota @nobu_k

それ楽しそうwww RT @goth_wrist_cut: fluentをgrowl outにつなげて遊ぶなど。これいいなぁ。適当なスクリプト書いたときにタグでほいほい出力分けられるのか。

2011-09-30 11:53:55
Sadayuki Furuhashi @frsyuki

@goth_wrist_cut わりと早めにコードをgithubに上げた上で fluent-plugin-growl.gem をリリースして下さい^^;

2011-09-30 13:14:57
Kazuki Ohta 💎 @kzk_mover

@tagomoris あとこれ、categoryフィールドが、fluentのタグになると便利ですかね?挙動に悩み中。

2011-09-29 00:58:04
tagomoris @tagomoris

@kzk_mover 自分はその方が嬉しいですねー。元々メタデータだったものがbodyに入ってきちゃうとscribedそのもののメッセージと形態が変わっちゃうので面倒くさいです。あとtagがファイル名orディレクトリ名に入ると嬉しいな!(一発でhiveにLOADできるので)

2011-09-29 01:00:04
tagomoris @tagomoris

明日のmeetupを牛耳れば俺の望むがままの分散stream processing frameworkがfluent上に作られる公開プロジェクトが立ち上がる可能性が……(ニヤニヤ

2011-09-29 01:02:00
Kazuki Ohta 💎 @kzk_mover

@tagomoris 承知、ちょいやってみます。out_hoopマダー?

2011-09-29 01:03:15
tagomoris @tagomoris

@kzk_mover @kzk_mover 自分がパッチ書くならって考えてたのは、あるオプションを有効にするとcategoryをtagに持っていってbodyはmessageの文字列だけになるって感じでした。期待してまーす。YAPC(ry

2011-09-29 01:03:57
tagomoris @tagomoris

out_hoopを作ってラクラクに書けるけど性能問題に悩むのと、out_hdfsにいきなり取り掛かって茨の道をどこまで行けるかわからないまま突き進むのではどちらが明るい未来だろう

2011-09-29 01:04:50
Kazuki Ohta 💎 @kzk_mover

@tagomoris Scribeでlogを転送した時って、category情報はルーティングのみに使われて、保存されたデータには含まれないという理解で良いのでしょうか…? ^_^;

2011-09-29 01:05:28
tagomoris @tagomoris

@kzk_mover 保存時に基本的に $category/filename みたいな感じになるので、カテゴリごとに場所が分かれますね。もしくはその手前で store で分岐するか。

2011-09-29 01:06:46
tagomoris @tagomoris

@kzk_mover ああ、で、ログ行には含まれません。時刻とかの付加もなし。scribeは基本的に渡されたmessageを書き出すだけで、末尾に改行を追加するかどうかだけ選べます。

2011-09-29 01:07:59
Kazuki Ohta 💎 @kzk_mover

@tagomoris なるほど。ではcategoryをtagに使ってしまって良さそうです。outputプラグインでtag情報を使って書きだすpluginを作れば良さそう。 > (例) http://t.co/E04lLQ3B

2011-09-29 01:08:48
1 ・・ 8 次へ

コメント

コメントがまだありません。感想を最初に伝えてみませんか?