…on Amazon Elasticsearch Serviceでも同様のアーキテクチャが採用されています。 このアーキテクチャの利点 先の述べた課題である 障害対応時の対応負荷 および ログスキーマ管理の難しさ が軽減されるのが、まず1つ目の利点です。利点として一見地味なのですが、継続して運用をすることを考えると、これらの負担軽減は大きな意味を持ちます。 S3は高い可用性を持っており、多くの場合自分でストレージを運用するのに比べてトラブルが少なくてすみます。そのためセンサーか…

…Y のバックエンド Elasticsearch が CPU リソース不足になりレイテンシが増加した。Elasticsearch の Data ノードのスケールアウト、N+1 クエリの解消、追加でレスポンスのキャッシュを実装が行われた サービス Z のバックエンド MySQL が CPU リソース不足になりレイテンシが増加した。Z 内でのキャッシュの実装の見直しが行われ、さらに MySQL 接続ユーザやコネクション周りの設定不備も見つかった 最初のうちは、開発チームと SR グ…

…こで、Amazon Elasticsearch Serviceを使ったスロークエリの集計・監視システムを構築したので、それについて紹介したいと思います。 ※今のところMySQLエンジンのみを対象としています システム構成 システムの構成は以下のようになります。 また、社内のシステムと完全に同じ訳ではありませんが、同様の構成のSAMプロジェクト（Elasticsearch Serviceに保存するまでの部分）をGitHubで公開しています。 https://github.com…

…ンドはAmazon Elasticsearch Serviceを利用しており、データノードをスケールイン・スケールアウトする機能が備わっており、データノードの負荷増大やディスク空き容量の減少に対して簡単に対応できます。ただ、スケールイン・スケールアウトは瞬時に実施できるわけではなく、経験則としては数分〜数十分の時間を要します。そのため、急なログ流量の増加のスムーズに対応するのは難しく、ログの取りこぼしなどが発生する可能性と向き合う必要があります。 使用頻度に対してコストが高い…

…設計 検索サーバにはElasticsearchを利用します。 クックパッドはインフラ環境にAWSを利用しており、その上にElasticsearchサーバをデプロイする方法としては以下の3つが考えられます。 Amazon Elasticsearch Service（以降AES）を利用する方法 EC2上に構築する方法 ECSクラスタ上に構築する方法 1.のAmazon Elasticsearch Serviceを利用するか2.3.の方法で自前でElasticsearchを構築する…

…/DynamoDB/Elasticsearch などの外部サービスを Directives を用いて宣言している点がユニークで学びでした。 graphql asia brikl slide capture APIS.GURU - GraphQL Tools are easy or how to write one in less than 100 lines Agenda https://www.graphql-asia.org/speaker/ivan-goncharov …

…クト状況などのログはElasticsearchに送信してKibanaで閲覧できるようにします まとめ 新バウンスメール管理システムの導入により、アプリケーションの各機能で配信制御を行う必要がなくなり、Postfixでフィルタリングを行うことでスケーラビリティの問題も解決することができました。また、Sisitoによる可視化により問題が発生しても（たとえば、特定の理由のバウンスメールが増えているなど）状況をすぐに把握して迅速に対応することができるようになりました。さらにホワイトリ…

…簡素なことに加え、 Elasticsearch などに投入することで簡単に分析することが可能です。 クックパッドでは、一部のユーザに CSP を送出しています。また、レポートの受信には Amazon API Gateway を使い、受け取った JSON を Amazon Kinesis Firehose に送信して Amazon Elasticsearch Service で分析を行えるようにしています。実装が必要な箇所は API Gateway が JSON を受け取る箇所…

…文検索 Solr, Elasticsearchの役割や利点について Webサーバとプロキシ nginx 静的ファイルの配信 Unicornなどアプリケーションサーバの前段に配置する意味 3日目 その他の構成要素 キャッシュ Railsキャッシュストア Varnishによるレスポンスのキャッシュ CDN CDNの役割や利点について バッチ処理 バッチ処理とはなにか 弊社のバッチ処理環境について バッチを書く際に気をつけるべきこと Infrastructure as Code な…

…れを実現するための Elasticsearch の機能を紹介 というような内容を紹介しました。 例えば、我々が「中目黒」を思い浮かべた時にイメージするエリア内の住所には、「中目黒」という文字列が含まれていません。 また、「奥渋谷」のように住所としては特定できない「だいたいこの辺り」というようなエリアも存在します。 あるいは、「中目黒駅」と調べたユーザは、「駅からの距離を考慮した並び順で結果を見たい」と考えていそうだと想像できるものの、文字列からは距離を計測することはできません…

…に改善しているのか、Elasticsearchでの実例を交えながらの発表でした。例えば中目黒という地域について、単に語句で検索しただけでは地名がヒットするが、人が認識している中目黒の範囲と異なるなど、いろいろな問題を解決するためにやってきたことなど苦労が伺えます。 CookpadTechConf2016 vol.3 - YouTube Railsアプリ開発環境の高速化 by 国分 崇志 次は国分さんによる、開発環境の高速化の話です。御存知の通り、クックパッドはRailsアプリ…

… 経由で通信します Elasticsearch ログの格納先として利用されています MongoDB 設定の格納や Dead Letter Queue として利用されています それぞれ単体のサーバとして動作させても問題ないので、例えば graylog2-server, graylog2-web-interface を複数用意しての負荷分散や Elasticsearch のクラスタ化も可能です。MongoDB についても可能ですが、設定などのデータが格納されているだけですので、ク…

…検索エンジンとして Elasticsearch を利用しています。 Ruby on Rails で構築されたアプリケーションから Elasticsearch を操作するには、公式 gem である elasticsearch-rails を使うのがとても便利です。 もちろん、Holiday でも活用させてもらっています。 大方の機能についてはこの gem で提供されるもので満足だったのですが、一点だけ、Holiday の運用をしている中で困ることがありました。 それが、サービス…

…室の多田です。先日 Elasticsearch の記事を書いた内藤と共に Holiday ( https://haveagood.holiday ) の開発を行っています。 Holiday は、去年9月に Web 版をリリースしましたが、よりおでかけを楽しくするために今年3月に iPhone アプリをリリースしました（ダウンロードはこちら）。 アプリの開発過程ではコンセプトや仮説を立て、その検証や実現のために作っては壊すことを何度も繰り返し行いますが、実現したい価値を提供する…

…、全文検索エンジン Elasticsearch を使って、全文検索と位置情報を絡めた検索についてお話したいと思います。 本稿で説明する内容は、実際に Holiday の中でも応用を加えた形で使われています。 Holiday では、複数のおでかけスポットを組み合わせて一つのおでかけプランを作ることができます。 例えばそのおでかけプランの作成画面では、登録するおでかけスポットを選ぶ時に、京都のおでかけプランなら京都のスポットを優先的に掲示することで、スムーズなプラン作成を可能にし…

…大谷さんらと一緒に Elasticsearch の書籍を翻訳。 検索・編成部所属。 他にも僕含め手伝いで何人か参加します！ また、最後には発表をしてもらい、良かったものには豪華賞品も用意しています！ たった一日のハッカソンで実用的な結果が出てくるとは私達も思っていません (もちろん、そんな結果が出たら私達の想像を超えているので大変素晴らしいですが！) どんなデータを元に、どんな世界を築こうとしたかのアプローチが大事です！失敗を恐れず参加、挑戦してください。 イベント詳細 タイ…

…な大好き ELK (Elasticsearch + Logstash + Kibana) を使うのが良さそうです。 Logstash 側で OSSEC のログを拾えるようにする設定 などが公開されています。 OSSEC に (そのままでは) できないこと これまでご紹介してきた通り、OSSEC のログ監視機能はあくまでシステムのログを用いるものであり、 実際の通信を監視するようなことはできません。 例えば HTTP POST パラメータに含まれる攻撃を監視したい場合などは、別…

…す。 しかしながら Elasticsearch や Solr *1を使うと手軽に実現できます。例えば、クックパッドニュースの記事では Solr を使い「この記事を読んだ人におすすめ」の機能に、最近クックパッドにジョインしたインドネシアの会社の DapurMasak では Elasticsearch を使い「Resep serupa(関連レシピ)」の機能で利用しています。 クックパッドニュースでのこの記事を読んだ人におすすめ DapurMasak での関連レシピ 使い方は非常に…