-
- いいね！0
Yoshikazu GOTO
@goto_ipv6
大谷さん：Elasticsearch in 10 seconds： ・スキーマフリー、分散ドキュメントストア、REST&JSON ・Javaで実装。拡張も用意 #osc18os #elastic
2018-01-27 13:23:21
Yoshikazu GOTO
@goto_ipv6
大谷さん：GEO： ・緯度経度系のデータに強い →半径何メートル以内のデータを抽出などが可能 #osc18os #elastic
2018-01-27 13:24:41
Yoshikazu GOTO
@goto_ipv6
大谷さん：Ecosystem: ・プラグイン ・クライアントライブラリ →公式：Java， Ruby， Python， PHP， Perl， JavaScript， .NET →コミュニティ：Scala, Clojure, Go... #osc18os #elastic
2018-01-27 13:25:48
Yoshikazu GOTO
@goto_ipv6
大谷さん：例：言語ごとの集計や言語と地域の集計： ・アグリゲーションは多段で指定可能 →しかも一発で指定できることができる #osc18os #elastic
2018-01-27 13:28:49
Yoshikazu GOTO
@goto_ipv6
大谷さん：Kibana 6： ・実際は JSONのデータですが、グラフィカルに見れる ・絞込も簡単 #osc18os #elastic
2018-01-27 13:29:57
Yoshikazu GOTO
@goto_ipv6
大谷さん：Dev Tool： ・Curlでコマンドを投げるのは結構面倒 ・このツールを使うと、簡単に Elasticsearch に投げることができる →クエリーの書き方がわからないときとかに有用 #osc18os #elastic
2018-01-27 13:30:44
Yoshikazu GOTO
@goto_ipv6
大谷さん：使っている企業： ・日本だと LINEさん →セキュリティ関連で利用している ・SoftBank さん →社内のサーバーがいっぱい →知らないサーバーがいるらしい？ →→それを探し出すために使っているとのこと #osc18os #elastic
2018-01-27 13:31:59
Yoshikazu GOTO
@goto_ipv6
大谷さん：台数が増えてくると： ・みんなが Elasticsearch につなぎに来ると悲鳴が上がる ・Logstash や Kafka を入れることをおすすめしています →多段構成に #osc18os #elastic
2018-01-27 13:33:24
Yoshikazu GOTO
@goto_ipv6
大谷さん：Hadoop のデータを Kibana で見ることも。ES-Hadoop #osc18os #elastic
2018-01-27 13:34:25
Yoshikazu GOTO
@goto_ipv6
大谷さん：Elasticsearch はクラスター構成可能。逼迫してきたら。 #osc18os #elastic
2018-01-27 13:35:03
Yoshikazu GOTO
@goto_ipv6
大谷さん： ・ログのデータ収集、管理 ・Fluentd が日本だと有名（これと似ている） ・実装は JRuby #osc18os #elastic
2018-01-27 13:35:37
Yoshikazu GOTO
@goto_ipv6
大谷さん：アーキテクチャ： ・ログを集めてきて、取捨選択して、匿名化して、出力 →こんな流れ #osc18os #elastic
2018-01-27 13:36:15
Yoshikazu GOTO
@goto_ipv6
大谷さん：Filter： ・パースする ・Grok →正規表現に対して名前をつけることができる #osc18os #elastic
2018-01-27 13:37:20
Yoshikazu GOTO
@goto_ipv6
大谷さん： ・GeoIP というフィルター →IPアドレスから緯度経度情報を →データはオープンソースとして公開されているので、そこに登録されていれば使える #osc18os #elastic
2018-01-27 13:39:47
Yoshikazu GOTO
@goto_ipv6
大谷さん：今日は、Twitter のハッシュタグ （#osc18os）をひっかけて、収集するデモをやっています。 #osc18os #elastic
2018-01-27 13:41:45