第1回Elasticsearch勉強会の資料を読む

Elasticsearch勉強会(Elastic Tokyo User Group) #elasticsearchjp というものがあり、今までに20回以上勉強会が開催されている。

www.meetup.com

Elasticsearch勉強会の資料をまとめてくださっているページがあったので、そこを参考に第1回から順番に資料を読んでいく。

qiita.com

資料を読む目的は

  • 他の方のElasticsearchのまとめ方を知る
  • Elasticsearchの活用事例を知る
  • Elasticsearchを図解的に学ぶ
  • もやもやしてる部分(プライマリシャードや分散システム)を解決したい
  • Elasticsearchに詳しい人を知る

第1回Elasticsearch勉強会

ElasticSearch入門/@johtani

http://blog.johtani.info/images/entries/20130830/IntroductionES20130829.pdf

感想 

  • 楽観的排他制御という言葉がわからなかったが、このページ(https://codezine.jp/article/detail/6764)をみてわかった。
  • 複数のインデックスを横断的に検索も可能(カンマ区切りでOK)の具体的な書き方を知った。ES6でも使えるか要確認

elasticsearchプラグイン入門/@shinsuke_sugaya

elasticsearchプラグイン入門

感想

  • @shinsuke_sugayaさんを知れた
  • 主にelasticsearchのプラグインを"作成する人"向けの資料だった

Debugging and Testing ES Systems/@cbirchall

Debugging and Testing ES Systems

感想

  • M3(ソニーグループの医療サイト)でelasticsearch使ってる
  • kuromoji使ってる。でも分割方法たまに傷
  • Debuggingその1 タイポしてないですか?
  • analyzeとexplain役に立つ〜
  • Headってプラグイン役に立つ〜

ニコニコ動画を検索可能にしてみよう/@PENGUINANA_

ニコニコ動画を検索可能にしてみよう

感想

  • データセットのリンクはもう切れていた: ( (昔の資料なのでそれはそう)
  • ニコニコ動画のデータセット(800万動画のメタデータ・25億コメント・JSON形式)を Elasticsearch on AWS で4時間550円で s3 -> unzip -> elasticsearch
  • install plugins • elasticsearch/elasticsearch-cloud-aws • mobz/elasticsearch-head • lukas-vlcek/bigdesk • elasticsearch/elasticsearch-analysis-kuromoji
  • config http.max_content_length:1000m, ES_HEAP_SIZE=3g
  • bulk APIでimportして、あとindex;noとかindex;not_analyzedてやってる