#OSCnagoya Elasticsearch、Kibana、Logstashではじめるログ解析入門 #elasticsearch

Yoshikazu GOTO @goto_ipv6

「Elasticsearch、Kibana、Logstashではじめるログ解析入門」 #oscnagoya #elasticsearch

Yoshikazu GOTO @goto_ipv6

Logstash in 10 seconds ・ログデータを集めてきてどこかに流す ・いらないデータを落としたりといった加工 ・Rubyで書かれているが実行は JRuby なのでちょっと重かったり ・オープンソース #oscnagoya #elasticsearch

Yoshikazu GOTO @goto_ipv6

Logstash Arcitecture ・どこから？ ・加工 ・どこへ？ #oscnagoya #elasticsearch

Yoshikazu GOTO @goto_ipv6

設定 ・input ・filter ・output #oscnagoya #elasticsearch

Yoshikazu GOTO @goto_ipv6

input ・プラグインがある →探して使えば良い #oscnagoya #elasticsearch

Yoshikazu GOTO @goto_ipv6

filter ・grokプラグイン →正規表現 ・dateプラグイン →タイムスタンプを入れ替えたり ・agentプラグイン →User Agentをとってくる #oscnagoya #elasticsearch

Yoshikazu GOTO @goto_ipv6

output ・elasticsearch →日付などをログファイル名にできたり #oscnagoya #elasticsearch

Yoshikazu GOTO @goto_ipv6

検索としてのElasticsearch #oscnagoya #elasticsearch

Yoshikazu GOTO @goto_ipv6

フリーワード検索 ・GitHub →裏で Elasticsearch が動いている →ここで試すことができる #oscnagoya #elasticsearch

Yoshikazu GOTO @goto_ipv6

Elasticsearch in 10 seconds ・スキーマフリー、分散ドキュメントストア、REST&JSON →簡単に叩くことができる →スケールアウトがしやすい →→クラスタを作れる #oscnagoya #elasticsearch

Yoshikazu GOTO @goto_ipv6

・設定無しで簡単に試すことができる ・Javaで実装、拡張も容易（？） →癖があるコードなので… #oscnagoya #elasticsearch

Yoshikazu GOTO @goto_ipv6

データ登録・削除・取得： ・JSONで投げつけて ・JSONで返ってくる #oscnagoya #elasticsearch

Yoshikazu GOTO @goto_ipv6

検索：Query DSL： ・JSONで構造化したクエリーを書くこともできる #oscnagoya #elasticsearch

Yoshikazu GOTO @goto_ipv6

分散構成 スケール #oscnagoya #elasticsearch

Yoshikazu GOTO @goto_ipv6

Basic terms： ・スケールする→「Elastic」 #oscnagoya #elasticsearch

Yoshikazu GOTO @goto_ipv6

・インデックス →データの論理的な集合 ・レプリケーション ・シャーディング →複数マシンを分散 #oscnagoya #elasticsearch

Yoshikazu GOTO @goto_ipv6

シャードとレプリカ： ・シャードの数を指定 ・レプリカの数を指定 ・ノードを増やすとうまい感じに分散してくれる #oscnagoya #elasticsearch

Yoshikazu GOTO @goto_ipv6

全文検索とは？ #oscnagoya #elasticsearch

Yoshikazu GOTO @goto_ipv6

用語 ・インデックス →データが保存される先 ・ドキュメント（文書） →検索エンジンに保存されたデータ →もともと、図書館で使われていたから？ #oscnagoya #elasticsearch

Yoshikazu GOTO @goto_ipv6

ドキュメントの登録： ・ドキュメントの登録→単語に分割→単語からIDの配列が引けるように #oscnagoya #elasticsearch

Yoshikazu GOTO @goto_ipv6

検索： ・検索条件→パース、検索クエリー化 #oscnagoya #elasticsearch

Yoshikazu GOTO @goto_ipv6

単語の区切り方： ・英語→スペースで区切れば良い ・日本語→難しい… #oscnagoya #elasticsearch

Yoshikazu GOTO @goto_ipv6

N-Gramと形態素解析： ・形態素解析 ・N-Gram #oscnagoya #elasticsearch

Yoshikazu GOTO @goto_ipv6

形態素解析： ・辞書に載っている単語を元に ・メリット →意味のある単語の切れ目 →品詞情報を元に追加処理が可能 ・デメリット →辞書にないものに弱い #oscnagoya #elasticsearch

Yoshikazu GOTO @goto_ipv6

N-Gram： ・N文字ずつ頭から切っていく →単語をすべて網羅できる ・メリット →未知語に対応可能 ・デメリット →インデックス肥大化 →品詞情報に基づく処理が不可能 #oscnagoya #elasticsearch