Togetter/min.tを安心してお使い頂くためのガイドラインを公開しました。

#OSCnagoya Elasticsearch、Kibana、Logstashではじめるログ解析入門 #elasticsearch

0
Yoshikazu GOTO @goto_ipv6

「Elasticsearch、Kibana、Logstashではじめるログ解析入門」 #oscnagoya #elasticsearch

2016-05-28 10:12:27
Yoshikazu GOTO @goto_ipv6

Logstash in 10 seconds ・ログデータを集めてきてどこかに流す ・いらないデータを落としたりといった加工 ・Rubyで書かれているが実行は JRuby なのでちょっと重かったり ・オープンソース #oscnagoya #elasticsearch

2016-05-28 10:12:41
Yoshikazu GOTO @goto_ipv6

Logstash Arcitecture ・どこから? ・加工 ・どこへ? #oscnagoya #elasticsearch

2016-05-28 10:12:46
Yoshikazu GOTO @goto_ipv6

input ・プラグインがある →探して使えば良い #oscnagoya #elasticsearch

2016-05-28 10:12:56
Yoshikazu GOTO @goto_ipv6

filter ・grokプラグイン →正規表現 ・dateプラグイン →タイムスタンプを入れ替えたり ・agentプラグイン →User Agentをとってくる #oscnagoya #elasticsearch

2016-05-28 10:13:27
Yoshikazu GOTO @goto_ipv6

output ・elasticsearch →日付などをログファイル名にできたり #oscnagoya #elasticsearch

2016-05-28 10:13:57
Yoshikazu GOTO @goto_ipv6

フリーワード検索 ・GitHub →裏で Elasticsearch が動いている →ここで試すことができる #oscnagoya #elasticsearch

2016-05-28 10:14:44
Yoshikazu GOTO @goto_ipv6

Elasticsearch in 10 seconds ・スキーマフリー、分散ドキュメントストア、REST&JSON →簡単に叩くことができる →スケールアウトがしやすい →→クラスタを作れる #oscnagoya #elasticsearch

2016-05-28 10:16:01
Yoshikazu GOTO @goto_ipv6

・設定無しで簡単に試すことができる ・Javaで実装、拡張も容易(?) →癖があるコードなので… #oscnagoya #elasticsearch

2016-05-28 10:16:45
Yoshikazu GOTO @goto_ipv6

データ登録・削除・取得: ・JSONで投げつけて ・JSONで返ってくる #oscnagoya #elasticsearch

2016-05-28 10:17:42
Yoshikazu GOTO @goto_ipv6

検索:Query DSL: ・JSONで構造化したクエリーを書くこともできる #oscnagoya #elasticsearch

2016-05-28 10:18:02
Yoshikazu GOTO @goto_ipv6

Basic terms: ・スケールする→「Elastic」 #oscnagoya #elasticsearch

2016-05-28 10:18:26
Yoshikazu GOTO @goto_ipv6

・インデックス →データの論理的な集合 ・レプリケーション ・シャーディング →複数マシンを分散 #oscnagoya #elasticsearch

2016-05-28 10:18:49
Yoshikazu GOTO @goto_ipv6

シャードとレプリカ: ・シャードの数を指定 ・レプリカの数を指定 ・ノードを増やすとうまい感じに分散してくれる #oscnagoya #elasticsearch

2016-05-28 10:19:48
Yoshikazu GOTO @goto_ipv6

用語 ・インデックス →データが保存される先 ・ドキュメント(文書) →検索エンジンに保存されたデータ →もともと、図書館で使われていたから? #oscnagoya #elasticsearch

2016-05-28 10:20:45
Yoshikazu GOTO @goto_ipv6

ドキュメントの登録: ・ドキュメントの登録→単語に分割→単語からIDの配列が引けるように #oscnagoya #elasticsearch

2016-05-28 10:21:31
Yoshikazu GOTO @goto_ipv6

検索: ・検索条件→パース、検索クエリー化 #oscnagoya #elasticsearch

2016-05-28 10:22:01
Yoshikazu GOTO @goto_ipv6

単語の区切り方: ・英語→スペースで区切れば良い ・日本語→難しい… #oscnagoya #elasticsearch

2016-05-28 10:22:28
Yoshikazu GOTO @goto_ipv6

N-Gramと形態素解析: ・形態素解析 ・N-Gram #oscnagoya #elasticsearch

2016-05-28 10:22:49
Yoshikazu GOTO @goto_ipv6

形態素解析: ・辞書に載っている単語を元に ・メリット →意味のある単語の切れ目 →品詞情報を元に追加処理が可能 ・デメリット →辞書にないものに弱い #oscnagoya #elasticsearch

2016-05-28 10:23:38
Yoshikazu GOTO @goto_ipv6

N-Gram: ・N文字ずつ頭から切っていく →単語をすべて網羅できる ・メリット →未知語に対応可能 ・デメリット →インデックス肥大化 →品詞情報に基づく処理が不可能 #oscnagoya #elasticsearch

2016-05-28 10:24:31
残りを読む(22)

コメント

コメントがまだありません。感想を最初に伝えてみませんか?