オードリー若林さんの完全版 社会人大学人見知り学部 卒業見込を読んだ

めちゃくちゃ面白かった. 買ってよかった. 他に若林さんの本があれば読みたい.

東京のラーメン屋

東京に来てラーメン屋さんでおいしいなと思ったことが2回ある。(嘘、本当はもっとあるけど忘れてる)

1つは錦糸町のひむろってラーメンでもう1つが東京駅の番外地っていうラーメン屋さんだ。

気づいたことがあって、ラーメンの中で北海道ラーメンが好きだ。
めちゃくちゃどうでもいい。

広告を非表示にする

川越旅行2

広告を非表示にする

第16回Elasticsearch勉強会の資料を読んだメモ

Elasticsearch勉強会(Elastic Tokyo User Group)資料を第1回から順番に資料を読んでいく。今回は2016年6月27日に開催された第16回の資料を読む。


LogstashとElasticsearchで作るEnterprise Search Platform

speakerdeck.com

読んだ感想

  • Samba?の話
  • スライドがきれい
  • Logstashの機能の説明

企業・業界情報プラットフォームSPEEDAにおけるElasticsearchの活用

www.slideshare.net

読んだ感想

  • Elasticsearchを導入した経緯はいままでMySQLでやってたけど速度に限界が出てきて、たまたまElasticsearch勉強会に参加した時に不動産検索の話があってそれが自社のやりたい検索と似ててこれ(Elasticsearch)なら今抱えてる悩みを解決できそうと思ったから
  • SPEEDAで行う企業名検索はWeb検索とは検索の特徴が違う Web検索ではトークン分割を形態素にして精度(precision)重視だけど企業名検索はトークン分割をngramにして再現率(recall)重視
  • Elasticsearch 1系を使用している
  • phrase_prefixによる検索処理の流れ
  • max_expansionsは検索文字列に先頭一致するtermを何個まで検索するか制御するパラメータ
  • ノード構成の見直しによりデータノードの負担が軽減され、更新処理、検索処理の性能を大幅に改善 具体的には改善前は検索応答速度0.5秒以上なのが7.2%あったのが改善後は2.7%になった

Elasticsearchベースの全文検索システムFess

www.slideshare.net

読んだ感想

  • Fessはbi-gramと形態素解析のハイブリット検索
  • Fessの今後→より大規模検索へ (対象容量が数十TBへ) ・Deep Learningを用いた検索 (画像とか)

GCPのネットワークでハマった話

speakerdeck.com

読んだ感想

  • Elasticsearch 2.3.1, CentOS 7.2使用
  • 2時間間隔でマスターノードとのpingに失敗する
  • 原因解決するまでの試行錯誤が書いてある
  • GCPのファイアーウォールはinactiveコネクションは10分で切断するので、Elasticsearchのnet.ipv4.tcp_keepalive_timeの設定を60秒にしたら解決した

スクリプトフィールドで作るランキングみたいな何か

資料が見つからなかった


第15回Elasticsearch勉強会の資料を読んだメモ

Elasticsearch勉強会(Elastic Tokyo User Group)資料を第1回から順番に資料を読んでいく。今回は2016年3月16日に開催された第15回の資料を読む。


Elasticsearchと機械学習を実際に連携させる

www.slideshare.net

読んだ感想

  • 第14回の機械学習を利用したちょっとリッチな検索の続き
  • 今回のテーマは実際にどうやって機械学習を適⽤すれば良いのか。PFNが2016/3/14にリリースしたOSS(SensorBee)を使って実演
  • SensorBeeは(特に)ネットワークのエッジ/フォグでストリームデータに対して機械学習(特にDeep Learning)を利用した非構造化データ向けのETLを低レイテンシで適用することを目的としたツール(よくわからない…)
  • 実演 英語のツイートに対して年年齢と性別のラベルを振る
  • Twitter→SensorBee(機械学習)→Fluentd→Elasticsearch
  • 機械学習のステップ3. 教師データを作る のアノテーション(正解を付ける作業)は苦⾏らしいけど頑張る
  • SensorBeeを使うとストリームデータに機械学習を適⽤でき、そしてfluentdを使うことでその結果をElasticsearchやデータベースに⼊れられる

Elastic{on} 2016 参加レポート

speakerdeck.com

読んだ感想

  • elastic{on} 2016はサンフランシスコで開催 参加人数は1800人以上
  • ランチミーティングのことをBBL(Brown Bag Lunch)っていうらしい

Elastic{ON}の過ごし方

www.slideshare.net

読んだ感想

  • Elastic{ON}2016で面白かったこと紹介
  • AMA(Ask Me Anythingの略) Elastic社エンジニアとフリートーク

Elastic{ON} 2016 見るべきセッション資料 7選

speakerdeck.com

読んだ感想

  • Elastic{ON} 2016でElastic stack使ってる人が見るべきだと思われるスライド7個紹介

2017年下半期の旅行まとめ

sakura818uuu.hatenadiary.com

この日は天気が本当にすごくよくてとても楽しかった。ハナヤマタOPの荏柄天神社がすっごくよかった。

sakura818uuu.hatenadiary.com

荻窪の大田黒公園がよかった。今まででいちばんの鯉。

sakura818uuu.hatenadiary.com

ブログには書いてないけど夏目漱石の話がすごく残ってる。

sakura818uuu.hatenadiary.com

久々に高校の学園祭に行った。あと町内会のお祭りのかき氷とか焼きそばはおいしいな〜

sakura818uuu.hatenadiary.com

稲の田奈、田舎だった

sakura818uuu.hatenadiary.com

お好み焼きめちゃくちゃおいしかった。イカスミ焼きそばも初めて食べたけどおいしかったな〜

sakura818uuu.hatenadiary.com

上野動物園は人が多かった。根津神社は想像より大きかった

sakura818uuu.hatenadiary.com

なんといっても耳をすませば聖蹟桜ヶ丘がよかった。高尾山も登山した🗻

sakura818uuu.hatenadiary.com

晴れててぽかぽかしてて三崎口のんびりしてた。この日は一日中旅行したな…

sakura818uuu.hatenadiary.com

定番の藤沢の海鮮丼屋さんで食べて、鎌倉文学館の雨明けのバラがとてもきれいで、おでん屋さんでおいしいおでん食べて、とても充実した旅行だった

sakura818uuu.hatenadiary.com

上総亀山の西洋風景画みたいな風景を見れた。内房線外房線・総武線・久留里線小湊鉄道いすみ鉄道銚子電鉄いろんな電車にのって、最後は犬吠埼の温泉にはいった。温泉いい

sakura818uuu.hatenadiary.com

アンテナショップもいいけど、いつかはアンテナショップで訪れた都道府県に直接いって旅行したいな〜

第14回Elasticsearch勉強会の資料を読んだメモ

Elasticsearch勉強会(Elastic Tokyo User Group)資料を第1回から順番に資料を読んでいく。今回は2016年1月7日に開催された第14回の資料を読む。


ココが辛いよelasticsearch

www.slideshare.net

読んだ感想

  • Snapshot API/Restore APIで実際の検索結果をもとに検索結果を改善する用のクラスタを複製?
  • 1系から2系のバージョンアップの時にどのように対応するか→2バージョンのクラスタを用意してリアルタイムで移⾏
  • Elastic社にきいた簡単なバージョンアップ法→reIndexが終わった段階でSearch⽤のLBを切り替えればいい
  • Facebook上に「検索索技術研究会」というのがあるらしい…!

機械学習を利用したちょっとリッチな検索

www.slideshare.net

読んだ感想

  • テーマ 検索対象の情報を機械学習によって増やす・検索エンジンの集計機能を活かして検索をリッチにする。  検索エンジンはそのままでOK! –  検索エンジンの外側で機械学習を適⽤し、結果を利用する。つまりデータをElasticsearchに入れる前に機械学習を適用し、データをリッチにする。
  • 機械学習とは何か、使うための必要な5ステップなどわかりやすい説明
  • 実際に機械学習を Elasticsearchと連携するには
    • 選択肢1: オフラインで RやPythonなど好きなものを使って機械学習を適⽤してから情報が増えたデータをElasticsearchに投⼊
    • 選択肢2: fluentdのexec filterからオンライン機械学習向け分散処理フレームワーク — Jubatusを叩いてオンラインで適⽤する
    • 選択肢3: PFNが公開するOSSを利用する(Chainerもサポート、OSSの名前なんていうなんだろう)

Lucene Query 再考 - Domain Specific Query 実装 -

www.slideshare.net

読んだ感想

  • Lucene Query API
  • 近接検索系のクエリ

Fluentd meets Beats

www.slideshare.net

読んだ感想

  • fluent-plugin-beats Input plugin for Elastic Beats
  • firebeatは(Beatsの一つ)は遅いから代わりにfluent-agent-hydraを使うといい
  • fluent-plugin-beatsの利点はなんなんだろう…beatsかませなくてもfluentdからそのままelasticsearchにログ渡せばいいのでは.と思ってしまった

Elasticsearchインデクシングのパフォーマンスを測ってみた

www.slideshare.net

読んだ感想

  • 複数セッションでデータを送信するとスループット向上だが、32セッション以上でデータ欠損の可能性あり
  • ノード内のシャード数が多い(プライマリシャード数9〜)とオーバーヘッドが増加する
  • 適切なbulkのサイズはMax(100MB)未満で1MBとか小さすぎなければOK
  • index設計時にallやsource削減でスループット向上