2014年2月25日

Fluentdの応用可能性について

ログ配送システムであるFluentdをセンサデータなどに使えないか,ストリームプロセッシング的な使い方が出来ないか,などの雑談.
2
Masaki Ito @niyalist

Fluentd ってどんな感じなんだろう.ログ,というか分散メッセージ配送管理システム,という感じにも見える.だとすると汎用性高い. http://t.co/OCE9wbZaJM

2014-02-25 16:44:25
Tomotaka Ito @tomotaka_ito

@niyalist 日本のWeb系ではかなり使われてる印象ですね。うちも使ってます!

2014-02-25 17:52:09
Tomotaka Ito @tomotaka_ito

@niyalist メッセージ配送というと人によってイメージするものが違いそうでアレですが、fluentd経由でさまざまなものに飛ばせますね。fluentd>fluentdもできるので、複数のfluentdから単一のfluentdに集約とかも。

2014-02-25 17:54:10
Tomotaka Ito @tomotaka_ito

センサデータの活用にも、fluentd使えるんじゃないかってちょっと思ってる

2014-02-25 17:55:49
Masaki Ito @niyalist

@tomotaka_ito そうそう.それを考えてた.ただ,ログに比べても量が多くて,かつ,常に全部を必要とするわけでもないので,データの統合とか,柔軟なpub/sub とか,配送側にインテリジェンスがあったほうがいいのかも,とも思った.

2014-02-25 18:25:37
Tomotaka Ito @tomotaka_ito

@niyalist fluentdにつなぐstream processingフレームワークみたいなソフトを作ってる人もいますね!https://t.co/IVsb46CxR8

2014-02-25 18:28:22
Tomotaka Ito @tomotaka_ito

@niyalist fluentdとは関係ないですが、汎用分散処理基盤みたいの作ってる人もいますね。Rubyでプラグインが書ける。http://t.co/SfTL7REm0V

2014-02-25 18:30:58
Masaki Ito @niyalist

@tomotaka_ito へー. pluggable なアーキテクチャとは思ったけど,こんなモノまで作れるのか.

2014-02-25 18:31:41
Tomotaka Ito @tomotaka_ito

@niyalist もともとはgroongaっていうコンパクトで高速な検索エンジンがあって、それの関連プロジェクトなのでスケーラブルな分散検索エンジンを作ろうというのが当初の目的だったような匂いを感じますw

2014-02-25 18:34:19
Tomotaka Ito @tomotaka_ito

@niyalist あ、droongaとfluentdは1mmも全く関係ないです

2014-02-25 18:34:37
Masaki Ito @niyalist

@tomotaka_ito おもしろい!しかもこういうのって,Rubyで作っても,十分なパフォーマンスが出るんだね.このアーキテクチャの図を見るだけで,わくわくする!

2014-02-25 18:35:27
Tomotaka Ito @tomotaka_ito

@niyalist スクリプト系は変数に関して言語側が管理してるメタデータが多いので、global interpreter lockというのがあってそれが並行動作の粒度をかなり下げてるらしいので、スクリプト言語で性能出すのはマルチプロセスが普通というのがちょっと切ないです

2014-02-25 18:36:56
Masaki Ito @niyalist

@tomotaka_ito この分野では,性能の追及より,処理の柔軟さのほうにメリットがある,ってことだよね.非定型のデータを想定する,とか考えると,やっぱりスクリプト言語の出番なんだろうね.

2014-02-25 18:40:08
Tomotaka Ito @tomotaka_ito

@niyalist 分散システムはプロトコルがきちんと決まっててればボトルネックになってるコンポーネントだけCで置き換えるとかもできていいかもですね。PythonだとPythonのまま書いてCに変換してくれるCythonとかあって面白いです。

2014-02-25 18:41:21
Masaki Ito @niyalist

@tomotaka_ito どのレイヤで高速化を図るのがいいんだろうね.スクリプト言語のランタイムをもっと改良する,ってのもいけそうな気がするんだけど..

2014-02-25 18:43:04
Tomotaka Ito @tomotaka_ito

@niyalist just in timeコンパイラをがんばればかなり速度あがるって各種JS処理系やLuaJITが証明してるのでもちろん処理系ががんばって高速化してくるというのも当然あると思います!

2014-02-25 18:44:20

コメント

コメントがまだありません。感想を最初に伝えてみませんか?