2016/02/18 デブサミ2016【18-B-2】データ分析で始めるサービス改善最初の一歩 #devsumiB

Developers Summit 2016 Hack the Real http://event.shoeisha.jp/devsumi/20160218/session/989/ <講演概要> 日常のサービス運用で発生するユーザーのアクセス記録やサーバーログをリアルタイムで分析し、サービス開発や運用の指針とすることが一般的になってきています。私の所属するチームでも、この流れをうけてログの収集・分析を行いサービス改善に役立てる取り組みを始めました。 続きを読む
devsumib devsumi
0
Shoko @_okohs
Elasticsearch, cabana, Flume, Hive, Rあたりの話がある #devsumiB
Shoko @_okohs
IIJで運用しているサービス「IIJ GIO」S3互換のストレージとHiveによる解析機能を提供している #devsumiB
Shoko @_okohs
Hiveが初耳なのだけど、ロゴがきもいwwww hive.apache.org #devsumiB
Shoko @_okohs
サービス利用の全体傾向をつかめていなかった(障害の全体像がわからない・需要予測がしづらい・予防的なパフォーマンス改善ができない)→ログを収集・分析することで実現する #devsumiB
materia @materia_x64
これまでの運用は、単発の障害検知や単体/結合Testの自動化。 ⇒ サービス全体としての状況把握ができていなかった。 #devsumiB
たま● @tmd45
需要予測がしづらい。予防的なパフォーマンス改善ができない。わかる #devsumi #devsumiB
materia @materia_x64
ログの収集・可視化で、サービス利用ののトレンドを掴む。 可視化大事だよね。 #devsumiB
Shoko @_okohs
「ログ収集と可視化」(1) Flumeでのログ収集 (2) Elasticsearchへの蓄積、kibanaによる可視化 #devsumiB
たきぐち in the Cloud @atakig
Flumeでログ収集、Elaticsearchへ蓄積、kibanaで可視化 #devsumiB
Shoko @_okohs
elastic searchもkibanaは知ってるけど使ったことないシリーズだな・・・使ってみようかな #devsumiB
R1-S2@わくわくピーナッツ @saitoryc
これ今まさにやろうとしてる内容だったっぽい #devsumiB
Shoko @_okohs
Flumeはログ転送ツール。類似のツールはFluent, Logstash。FlumeはSource, Channel, Sinkの三段構成。プラグインを自作可能。分析していく上で困ったことはプラグインで解決した。 #devsumiB
たきぐち in the Cloud @atakig
fluentdでなく、Flumeを使った理由が知りたいな #devsumiB
がぶ @gabu
なんでFluentdじゃなくてFlumeにしたか聞いてみたい #devsumiB
Taku YAJIMA @quindim
Flumeを選択した理由って何だろ? #devsumiB
motimoti @giha2624
Flumeにした理由は?と思ったら同じツイートが流れてきてwarata #devsumiB
Shoko @_okohs
ログ収集・可視化の問題点(1) ログの量が多い(total 20GB/day) (2)「有用な」ログの選別が辛い (formatバラバラstack traceそのまま) #devsumiB
materia @materia_x64
ログ収集で、問題点にぶつかった。 ・ログが1日20GB。年間7TB。保存がきつい。 ・ログの選別。フォーマットがバラバラ。スタックトレースそのまま出力。 #devsumiB
たきぐち in the Cloud @atakig
FlumeにEsperを組み込んで収集 #devsumiB
Shoko @_okohs
対策:収集するログを絞る。(1)Apacheアクセスログのみ(ユーザ利用傾向だけなら十分。ログの大部分はアプリのトレースログだった) (2) FlumeにEsperを組み込んで集約 (CAの事例を参考に実装 cyberagent.co.jp/techinfo/techr…) #devsumiB
たま● @tmd45
ログ収集の問題点。ログのデータ量が多い。フォーマットがばらばらで有用なログを選別しづらい #devsumi #devsumiB
たきぐち in the Cloud @atakig
画像とjsを省けば大分選別できた覚えがあるなぁ #devsumiB
残りを読む(31)

コメント

Shoko @_okohs 2016年2月18日
まとめを更新しました。
ログインして広告を非表示にする
ログインして広告を非表示にする