Elasticsearch勉強会 懇親会での世間話(AWS ElasticsearchとElastic Cloudの比較と大容量ログデータの保存法について)
第29回Elasticsearch勉強会を聴講してきました(https://www.meetup.com/Tokyo-Elastic-Fantastics/events/258183800/?read=1&_xtd=gatlbWFpbF9jbGlja9oAJGNlMGFkODY1LTIzNzItNDZlMy04NWJkLTUwNzViNDIxYTQ2ZA&_af=event&_af_eid=258183800)。
私はログの蓄積と解析の為にElasticsearchを使おうとしてるので、今回のテーマである「検索」(特に自然言語の検索)とはちょっと違うのですが、自分の知らなかったElasticsearchの使い方や技術を聞けて勉強になりました。
勉強会の後の懇親会では、Elastic社の方に今自分が持っている問題に関して色々相談しました。タイトルの通り、ここではその内容を主にまとめたいと思います。なお、自分なりに後で調べましたが、ここで書いている事は懇親会でカジュアルに話したことが基なので、不正確だったり間違っているかもしれません。そのような箇所がありましたら、ご指摘いただけると幸いです。
1．Amazon Elasticsearch Service (Aamazon ES) と Elastic cloudの比較
Aamazon ESはAmazonが提供しているサービス、Elastic cloudはElastic社が提供しているサービス。なので利用料の支払先が異なる。
Amazon Elasticsearch Service とは - Amazon Elasticsearch Service
Elasticsearchの パワーを利用した SaaS製品群 | Elastic
Elastic社の方だったので、基本的にElastic cloudの良い事を強調してたが、以下のような違いがあるそう。
Elastic Cloudの場合、UIはオンプレのElastic製品と同じ。Aamazon ESではかなり異なる。
Aamazon ESはオンプレでElasticsearchを使う時よりも機能が制限される。その大きな理由の一つはX-packが使えないこと(はじめに | X-Pack for the Elastic Stack | Elastic)。Elastic Cloudではオンプレ版の全ての機能を使える。
Elastic Cloud上では、AWSやGCPやAzureなど、どのクラウドサービスを使うのか動的に決めることが出来る(間にElasticが入っている分、クラウドを直接使うより料金は多少高くなるんじゃないかと推測している)。
2． 大容量ログデータの保存法について
数十TB程度の規模ならElastic Cloudで保存し、それを解析・検索・管理する事は可能だし経済的合理性もあると思う。しかし数百TB規模になると怪しい。
Elastic CloudのVer 6.6ではhot、warm、cold、freeze (それ以前のバージョンではfreezeがなかった)の4段階でインデックスの立て方を設定できて、freezeだと通常はindexが立っておらず、検索するときだけindexを立てるという動きをさせることが出来る。なので常時立ってる場合よりリソースも食わないし安上がりになる(詳しくはこちら：Elastic Stack 6.6.0リリース | Elastic) 。しかし、これはAWSで言うところのEC2のようなサービス上で立っていうため(S3のような、IOの少ないハードディスクのようなサービスではない)、数百TB規模だとfreezeでもかなりのお金がかかると思う。
今自分(筆者)は、ウェブを通じて送られてくる大量のログをどのように受けて、どのように蓄積させているか悩んでいる。 一つの案として、最初にクラウド側で受けて、短期間(3か月とか6か月とか)だけクラウドに溜め、それ以降はオンプレのストレージに通信して溜めておけば、クラウドで大容量のストレージを持つ必要がないから安上がり且つ効果的なのではないか、と考えていたが、その場合クラウドからオンプレに大量のデータを転送する事になるため結局割高になる、と言われた(クラウドサービスはインバウンドは安くアウトバンドが高いのが通常)。
大量のログをクラウドとオンプレのどちらで保存して解析・運用するか、という問題に対する対応は、企業によって様々だが、クラウドならクラウドだけ、オンプレならオンプレだけにインフラを寄せて構築する事が多い傾向にあるらしい。
1人目のプレゼンターの資料
2人目のプレゼンターの資料
https://speakerdeck.com/nakaearth/classidefalseelasticsearchfalseli-yong-nituite-ead1f2c3-5849-472d-abdb-f5f82b96f732
3人目のプレゼンターの資料
なし
勉強会は勿論、その後の懇親会も勉強になったので、是非また参加しようと思います。
