OSC2018 Osaka「システムメトリクス・ログのリアルタイム解析入門 - Elastic Stackを活用して -」 #osc18os #elastic

1
Yoshikazu GOTO @goto_ipv6

大谷さんによる 「システムメトリクス・ログのリアルタイム解析入門 - Elastic Stackを活用して - 」です。 #osc18os #elastic

2018-01-27 13:01:18
Yoshikazu GOTO @goto_ipv6

大谷さん:Elasticsearch の話ですが、ログの可視化をメインにやります。検索については、3階にブースを出しているので、そちらで聴いてください。 #osc18os #elastic

2018-01-27 13:02:07
Yoshikazu GOTO @goto_ipv6

大谷さん:アジェンダ: ・最近、楽になりました →Kibanaの画面 ・本格的にやるには →大規模 ・さらにいろいろ試してみるには →商用プラグイン紹介 #osc18os #elastic

2018-01-27 13:02:50
Yoshikazu GOTO @goto_ipv6

大谷さん:自己紹介: ・昔、本を出していますが、すでに古いので買わないでください。 #osc18os #elastic

2018-01-27 13:03:26
Yoshikazu GOTO @goto_ipv6

大谷さん: ・ブログ →最近疎かに →今年は頑張ろうと #osc18os #elastic

2018-01-27 13:03:37
Yoshikazu GOTO @goto_ipv6

大谷さん:ロゴは Elastic ですが、会社名は Elasticsearch 。 #osc18os #elastic

2018-01-27 13:04:35
Yoshikazu GOTO @goto_ipv6

大谷さん:Elasticsearch、Logstash、Kibana、Beats、X-Pack、Elastic Cloud #osc18os #elastic

2018-01-27 13:05:14
Yoshikazu GOTO @goto_ipv6

大谷さん:Elasticスタック: ・Elastic Stack →4つ、オープンソースをやっていますが →これらを合わせて Elastic Stack と #osc18os #elastic

2018-01-27 13:06:06
Yoshikazu GOTO @goto_ipv6

大谷さん: ・Kibana →可視化 →ブラウザからアクセス ・Elasticsearch →ここがコア ・Beats →取り込むためのツール ・Logstash →取り込むためのツール #osc18os #elastic

2018-01-27 13:07:15
Yoshikazu GOTO @goto_ipv6

大谷さん:X-Pack: ・先程の 4つはプラグインを使うことができる ・X-Packはこのプラグインを有償で提供しているもの #osc18os #elastic

2018-01-27 13:08:22
Yoshikazu GOTO @goto_ipv6

大谷さん:メトリクス/ログ解析を始めてみよう: #osc18os #elastic

2018-01-27 13:08:49
Yoshikazu GOTO @goto_ipv6

大谷さん:メトリクス・ログの分析(簡易版): #osc18os #elastic

2018-01-27 13:09:17
Yoshikazu GOTO @goto_ipv6

大谷さん:Beats: ・シリーズがある ・Goで書かれているので軽量 ・ログがあるサーバーや、メトリクスを取りたいサーバーに入れる ・データを集めて何処かへ投げる →Elasticsearch 以外にも →→Kafkaとか #osc18os #elastic

2018-01-27 13:10:28
Yoshikazu GOTO @goto_ipv6

大谷さん:Beats: ・FILEBEAT →Apacheなどのログファイル ・METRICBEAT →メトリック情報 →CPUの負荷など ・PACKETBEAT →ネットワークのパケットをキャプチャして →DBなどでも #osc18os #elastic

2018-01-27 13:11:19
Yoshikazu GOTO @goto_ipv6

→応答までの時間を見たり ・WINGLOGBEAT →Windows のログに特化 #osc18os #elastic

2018-01-27 13:11:42
Yoshikazu GOTO @goto_ipv6

・HEARTBEAT →死活監視 →プロセスとか ・AUDITBEAT →セキュリティ関連 #osc18os #elastic

2018-01-27 13:12:15
Yoshikazu GOTO @goto_ipv6

大谷さん:MetricBeat: ・セットアップを実行すると、Kibana の設定も入るし、Elasticsearch 側も設定される →簡単に画面が見れる #osc18os #elastic

2018-01-27 13:13:02
Yoshikazu GOTO @goto_ipv6

大谷さん: ・Topコマンド以外の情報も取れる →今後増える ・Apache →Apacheに関する情報 ・Nginx ・Docker ・k8s #osc18os #elastic

2018-01-27 13:14:01
Yoshikazu GOTO @goto_ipv6

大谷さん:Filebeat: ・ファイルを監視 ・行が追加されるたびに、1行を1データとして #osc18os #elastic

2018-01-27 13:14:29
Yoshikazu GOTO @goto_ipv6

大谷さん:FileBeatのモジュール: ・Apache、Nginx、Auditdなど #osc18os #elastic

2018-01-27 13:14:49
Yoshikazu GOTO @goto_ipv6

大谷さん:Packetbeat: ・DNSなど、パケットを解析することができる ・HTTPも通信を見て解析できる ・Netflowにも対応しています ・Go言語を書くことができたら、機能追加も可能 #osc18os #elastic

2018-01-27 13:18:41
Yoshikazu GOTO @goto_ipv6

大谷さん:Winglogbeat: ・Windows ログに特化 #osc18os #elastic

2018-01-27 13:19:03
Yoshikazu GOTO @goto_ipv6

大谷さん:モジュールは、色々調べてみてください。モジュールはどんどん増えるので。。。 #osc18os #elastic

2018-01-27 13:19:24
Yoshikazu GOTO @goto_ipv6

大谷さん:Elasticsearch: ・検索エンジン →フリーワード →集計 →サジェスト ・Elasticsearch自体は →REST&JSONでやりとり →アプリ側は作る必要あり →Githubとかも裏で #osc18os #elastic

2018-01-27 13:22:16