【新機能】作り忘れたまとめはありませんか?31日前まで期間指定してまとめが作れる高度な検索ができました。有料APIだからツイートの漏れはありません!

2016/02/18 デブサミ2016【18-B-2】データ分析で始めるサービス改善最初の一歩 #devsumiB

Developers Summit 2016 Hack the Real http://event.shoeisha.jp/devsumi/20160218/session/989/ <講演概要> 日常のサービス運用で発生するユーザーのアクセス記録やサーバーログをリアルタイムで分析し、サービス開発や運用の指針とすることが一般的になってきています。私の所属するチームでも、この流れをうけてログの収集・分析を行いサービス改善に役立てる取り組みを始めました。 続きを読む
devsumib devsumi
1792view 1コメント
このまとめをお気に入りにして応援しよう!
0
ログインして広告を非表示にする
Shoko@若い働き方💪 @_okohs 2016-02-18 11:07:24
Elasticsearch, cabana, Flume, Hive, Rあたりの話がある #devsumiB
Shoko@若い働き方💪 @_okohs 2016-02-18 11:09:59
IIJで運用しているサービス「IIJ GIO」S3互換のストレージとHiveによる解析機能を提供している #devsumiB
Shoko@若い働き方💪 @_okohs 2016-02-18 11:10:33
Hiveが初耳なのだけど、ロゴがきもいwwww hive.apache.org #devsumiB
Shoko@若い働き方💪 @_okohs 2016-02-18 11:13:56
サービス利用の全体傾向をつかめていなかった(障害の全体像がわからない・需要予測がしづらい・予防的なパフォーマンス改善ができない)→ログを収集・分析することで実現する #devsumiB
materia @materia_x64 2016-02-18 11:13:56
これまでの運用は、単発の障害検知や単体/結合Testの自動化。 ⇒ サービス全体としての状況把握ができていなかった。 #devsumiB
たま🤤 @tmd45 2016-02-18 11:15:38
需要予測がしづらい。予防的なパフォーマンス改善ができない。わかる #devsumi #devsumiB
materia @materia_x64 2016-02-18 11:17:29
ログの収集・可視化で、サービス利用ののトレンドを掴む。 可視化大事だよね。 #devsumiB
Shoko@若い働き方💪 @_okohs 2016-02-18 11:17:38
「ログ収集と可視化」(1) Flumeでのログ収集 (2) Elasticsearchへの蓄積、kibanaによる可視化 #devsumiB
たきぐち in the Cloud @atakig 2016-02-18 11:17:59
Flumeでログ収集、Elaticsearchへ蓄積、kibanaで可視化 #devsumiB
Shoko@若い働き方💪 @_okohs 2016-02-18 11:18:47
elastic searchもkibanaは知ってるけど使ったことないシリーズだな・・・使ってみようかな #devsumiB
ryoichi @saitoryc 2016-02-18 11:19:35
これ今まさにやろうとしてる内容だったっぽい #devsumiB
Shoko@若い働き方💪 @_okohs 2016-02-18 11:19:49
Flumeはログ転送ツール。類似のツールはFluent, Logstash。FlumeはSource, Channel, Sinkの三段構成。プラグインを自作可能。分析していく上で困ったことはプラグインで解決した。 #devsumiB
たきぐち in the Cloud @atakig 2016-02-18 11:20:03
fluentdでなく、Flumeを使った理由が知りたいな #devsumiB
がぶ @gabu 2016-02-18 11:20:29
なんでFluentdじゃなくてFlumeにしたか聞いてみたい #devsumiB
Taku YAJIMA @quindim 2016-02-18 11:20:38
Flumeを選択した理由って何だろ? #devsumiB
motimoti @giha2624 2016-02-18 11:21:19
Flumeにした理由は?と思ったら同じツイートが流れてきてwarata #devsumiB
Shoko@若い働き方💪 @_okohs 2016-02-18 11:22:37
ログ収集・可視化の問題点(1) ログの量が多い(total 20GB/day) (2)「有用な」ログの選別が辛い (formatバラバラstack traceそのまま) #devsumiB
materia @materia_x64 2016-02-18 11:23:25
ログ収集で、問題点にぶつかった。 ・ログが1日20GB。年間7TB。保存がきつい。 ・ログの選別。フォーマットがバラバラ。スタックトレースそのまま出力。 #devsumiB
たきぐち in the Cloud @atakig 2016-02-18 11:23:31
FlumeにEsperを組み込んで収集 #devsumiB
Shoko@若い働き方💪 @_okohs 2016-02-18 11:24:07
対策:収集するログを絞る。(1)Apacheアクセスログのみ(ユーザ利用傾向だけなら十分。ログの大部分はアプリのトレースログだった) (2) FlumeにEsperを組み込んで集約 (CAの事例を参考に実装 cyberagent.co.jp/techinfo/techr…) #devsumiB
たま🤤 @tmd45 2016-02-18 11:24:26
ログ収集の問題点。ログのデータ量が多い。フォーマットがばらばらで有用なログを選別しづらい #devsumi #devsumiB
たきぐち in the Cloud @atakig 2016-02-18 11:24:42
画像とjsを省けば大分選別できた覚えがあるなぁ #devsumiB
残りを読む(31)
フォロワー限定公開ならプライベートで楽しめる。 鍵アカのツイもまとめられるよ。

ブックマークしたタグ

あなたの好きなタグをブックマークしておこう!話題のまとめを見逃さなくなります。
ログインして広告を非表示にする
ログインして広告を非表示にする