第2回Elasticsearch勉強会の資料を読む

Elasticsearch勉強会(Elastic Tokyo User Group) #elasticsearchjp というものがあり、今までに20回以上勉強会が開催されている。

www.meetup.com

Elasticsearch勉強会の資料をまとめてくださっているページがあったので、そこを参考に第1回から順番に資料を読んでいく。

qiita.com

資料を読む目的は

  • 他の方のElasticsearchのまとめ方を知る
  • Elasticsearchの活用事例を知る
  • Elasticsearchを図解的に学ぶ
  • もやもやしてる部分(プライマリシャードや分散システム)を解決したい
  • Elasticsearchに詳しい人を知る

第2回Elasticsearch勉強会

elasticsearch Routing/@johtani

http://blog.johtani.info/images/entries/20131112/About_es_routing.pdf

感想

  • デフォルトでは1つのインデックスに5つのprimary shard
  • ドキュメントを登録する流れが図でわかりやすく説明されている(例えばドキュメントのIDのハッシュ値を計算してシャード数で割り登録するシャードを決めるなど)
  • Routingについて説明されている。routingはシャードに関わる特定の検索条件下において検索機能を効率化させるものである。
  • インデックスにエイリアスをつけることで複数のインデックスを1つとみなすことができる
  • もやもやしてたところ解決できた。めちゃくちゃ参考にさせてもらった

Elasticsearch試行錯誤/@pisatoshi

Elasticsearch trial and error // Speaker Deck

感想

  • デフォルトではドキュメントIDのハッシュ値の計算からシャードを選択していたが、ルーティングを使用することによりルーティングIDでシャードを確定させることが出来る
  • Dynamic mappingだとマッピング定義が肥大化・データ型のコンフリクトなどの問題が起こる
  • 便利なツールにelasticsearch-head・bigdesk・SENSE
  • クラスタ名はデフォルトから変更しておいたほうがよい(他の人とかぶるため)

Kibana入門/@y_310

Kibana入門 // Speaker Deck

感想

  • ニコニコ動画データセットを使ってる
  • ダッシュボードをつくったらリロード前にかならず保存
  • Histogram…時系列データ
  • Hits…クエリごとの総ヒット件数をグラフ化
  • Sparklines…クエリごとの傾向だけを可視化
  • Terms…facetsの結果をBar,Pie,Tableでグラフ化
  • Trends…指定した時点からの値の変化を表示
  • Map…facetの結果を地図上で可視化
  • BetterMap…緯度・経度を元にマッピング
  • dynamic mappingは大概うまくいかない(数値型がintegerではなくlongになるなど)
  • 最新情報はgithubのmaster(https://github.com/elastic/kibana),公式blog(https://www.elastic.co/jp/blog),kibanaのdemoサイト( この愛とはいまなかった http://demo.kibana.org/)

ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ/@yoshi_ken

ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ

感想

  • Fluentdとの連携(pluginもいくつかのっている)
  • Java Database Connectivity(JDBC)を使用してMySQLから情報を取り込んでelasticsearchに送っている
  • 設定周りのtips
  • 便利プラグイン HQ・head・bigdesk

Fluentd as a Kibana/@repeatedly

"Fluentd as a Kibana" at Elasticsearch meetup #2 · GitHub

感想

Authプラグインでアクセスコントロール/@shinsuke_sugaya

Elasticsearch Authプラグインでアクセスコントロール

感想

  • ElasticsearchのREST APIをアクセス制御するプラグイン
  • たぶんfessのログイン認証の裏側にこれ使ってるのかな…