#fluentd in_tailでマルチバイト文字が通らなくなった?(修正済み)

@hotchpotch 手元のmacですが LANG=ja_JP.UTF-8 でした。実際は壊れたバイナリがログに混じったところで死なれると困るので、エンコーディングを仮定するわけにも行かない気がしています

2012-04-16 16:14:17

セコン @hotchpotch

@fujiwara なるほど。すると問題は扱えないエンコーディングが入っていたときの例外処理まわりぽいですね。

2012-04-16 16:17:06

僕も違うファイルだけどin_tailしたらずっと「 invalid byte sequence in US-ASCII 」と「closed stream」出てしまって読み込めなかった・・・。 #fluentd

2012-04-16 16:51:25

システムの文字コードはutf8なんだけどなぁ。日本語バリバリ入っているファイルだから？#fluentd

2012-04-16 16:52:41

あれ、fluentd-0.10.15だと発生しなかったけど、fluentd-0.10.17に上げたら「 invalid byte sequence in US-ASCII」出てくる！ #fluentd

2012-04-16 17:04:54

さっきまでテスト環境はうまく行って、本番でデプロイしたらコケたので調べてみるとVerが違ってた。で、テスト環境をVerアップしたら「invalid byte sequence in US-ASCII」出るようになった。 #fluentd

2012-04-16 17:06:08

@oranie https://t.co/aN42UP6E このcommitで、sliceで正規表現使うところでencoding依存するようになったっぽいですね

2012-04-16 17:08:05

あっ、Ver間違い。fluentd-0.10.15→fluentd-0.10.18だった。#fluentd

2012-04-16 17:06:54

Released fluentd v0.10.19! This release includes some major bug fixes for in_syslog and in_tail. #fluentd

2012-04-18 03:30:26

何となく原因の場所は分かったけどruby力が低すぎて修正方法が分からない

2012-04-16 17:12:38

in_tail直せた気がするけどruby力低すぎて正しいかどうかさっぱり

2012-04-16 19:20:14

こんなpatch… https://t.co/PvEiUx6D

2012-04-16 19:39:05

セコン @hotchpotch

この件、@frsyuki さんがチェックしてくるはず！ｗ QT @fujiwara: .@oranie @hotchpotch http://t.co/M5NZSOem in_tailの件、まとめつくらせていただきました

2012-04-16 19:54:26

@oranie @fujiwara たぶん、このパッチで直ると思います。https://t.co/92YDFyn8

2012-04-17 10:27:16

@frsyuki @oranie ありがとうございます！ちょっと試したところでは大丈夫そうです

2012-04-17 10:37:16

@frsyuki @fujiwara 手元のテスト環境で0.10.18（in_tail→forawad）→0.10.18（foward→file）という形で読み込み、送信、受信、書き込みを行った所問題無しでした！パッチを外すと問題は再現しました。

2012-04-17 11:54:19

Released fluentd v0.10.19! This release includes some major bug fixes for in_syslog and in_tail. #fluentd

2012-04-18 03:30:26