Togetter/min.tを安心してお使い頂くためのガイドラインを公開しました。

2016/02/18 デブサミ2016【18-B-2】データ分析で始めるサービス改善最初の一歩 #devsumiB

Developers Summit 2016 Hack the Real http://event.shoeisha.jp/devsumi/20160218/session/989/ <講演概要> 日常のサービス運用で発生するユーザーのアクセス記録やサーバーログをリアルタイムで分析し、サービス開発や運用の指針とすることが一般的になってきています。私の所属するチームでも、この流れをうけてログの収集・分析を行いサービス改善に役立てる取り組みを始めました。 続きを読む
0
Shoko@ただいま @_okohs

Elasticsearch, cabana, Flume, Hive, Rあたりの話がある #devsumiB

2016-02-18 11:07:24
Shoko@ただいま @_okohs

IIJで運用しているサービス「IIJ GIO」S3互換のストレージとHiveによる解析機能を提供している #devsumiB

2016-02-18 11:09:59
Shoko@ただいま @_okohs

Hiveが初耳なのだけど、ロゴがきもいwwww hive.apache.org #devsumiB

2016-02-18 11:10:33
Shoko@ただいま @_okohs

サービス利用の全体傾向をつかめていなかった(障害の全体像がわからない・需要予測がしづらい・予防的なパフォーマンス改善ができない)→ログを収集・分析することで実現する #devsumiB

2016-02-18 11:13:56
materia @materia_x64

これまでの運用は、単発の障害検知や単体/結合Testの自動化。 ⇒ サービス全体としての状況把握ができていなかった。 #devsumiB

2016-02-18 11:13:56
たま🏠 @tmd45

需要予測がしづらい。予防的なパフォーマンス改善ができない。わかる #devsumi #devsumiB

2016-02-18 11:15:38
materia @materia_x64

ログの収集・可視化で、サービス利用ののトレンドを掴む。 可視化大事だよね。 #devsumiB

2016-02-18 11:17:29
Shoko@ただいま @_okohs

「ログ収集と可視化」(1) Flumeでのログ収集 (2) Elasticsearchへの蓄積、kibanaによる可視化 #devsumiB

2016-02-18 11:17:38
たきぐち in the Cloud @atakig

Flumeでログ収集、Elaticsearchへ蓄積、kibanaで可視化 #devsumiB

2016-02-18 11:17:59
Shoko@ただいま @_okohs

elastic searchもkibanaは知ってるけど使ったことないシリーズだな・・・使ってみようかな #devsumiB

2016-02-18 11:18:47
バンビ @saitoryc

これ今まさにやろうとしてる内容だったっぽい #devsumiB

2016-02-18 11:19:35
Shoko@ただいま @_okohs

Flumeはログ転送ツール。類似のツールはFluent, Logstash。FlumeはSource, Channel, Sinkの三段構成。プラグインを自作可能。分析していく上で困ったことはプラグインで解決した。 #devsumiB

2016-02-18 11:19:49
たきぐち in the Cloud @atakig

fluentdでなく、Flumeを使った理由が知りたいな #devsumiB

2016-02-18 11:20:03
がぶ @gabu

なんでFluentdじゃなくてFlumeにしたか聞いてみたい #devsumiB

2016-02-18 11:20:29
Taku YAJIMA @quindim

Flumeを選択した理由って何だろ? #devsumiB

2016-02-18 11:20:38
motimoti @giha2624

Flumeにした理由は?と思ったら同じツイートが流れてきてwarata #devsumiB

2016-02-18 11:21:19
Shoko@ただいま @_okohs

ログ収集・可視化の問題点(1) ログの量が多い(total 20GB/day) (2)「有用な」ログの選別が辛い (formatバラバラstack traceそのまま) #devsumiB

2016-02-18 11:22:37
materia @materia_x64

ログ収集で、問題点にぶつかった。 ・ログが1日20GB。年間7TB。保存がきつい。 ・ログの選別。フォーマットがバラバラ。スタックトレースそのまま出力。 #devsumiB

2016-02-18 11:23:25
たきぐち in the Cloud @atakig

FlumeにEsperを組み込んで収集 #devsumiB

2016-02-18 11:23:31
Shoko@ただいま @_okohs

対策:収集するログを絞る。(1)Apacheアクセスログのみ(ユーザ利用傾向だけなら十分。ログの大部分はアプリのトレースログだった) (2) FlumeにEsperを組み込んで集約 (CAの事例を参考に実装 cyberagent.co.jp/techinfo/techr…) #devsumiB

2016-02-18 11:24:07
たま🏠 @tmd45

ログ収集の問題点。ログのデータ量が多い。フォーマットがばらばらで有用なログを選別しづらい #devsumi #devsumiB

2016-02-18 11:24:26
たきぐち in the Cloud @atakig

画像とjsを省けば大分選別できた覚えがあるなぁ #devsumiB

2016-02-18 11:24:42
残りを読む(31)

コメント