合同会社DMM.com / 検索アプリケーショングループ
検索システムのAWS化
検索チームに入って1から参画したプロジェクトである「検索システムのAWS移行」について技術的なものというよりも、どういう問題があって何を解決したいからそのシステムを採用したのか、といった軸で記載している
Discover companies you will love
合同会社DMM.com / 検索アプリケーショングループ
検索エンジンやその周辺技術(検索API/更新API/Kafkaなど)のクラウドインフラ基盤の運用と開発。 AWS(とりわけEKS)上で全てのシステムを構築しており、AWSのリソースは全てTerraformによってIaC化して管理している。またDatadogによる監視システムも全て設計から運用まで行っている。
より専門的なクラウドインフラ基盤の運用。 現在はアプリケーションを乗せて動かすという点に主軸を置いて運用しているため、インフラ基盤のより詳細なチューニングなどには手が回っていないため、インフラ基盤自体に焦点を当てて深堀りしていきたい。
現在AWS化によって運用している検索システムには大きな問題がある。 それはSolrCloudというクラスタ構成をEKSというクラスタの上に実装することで、ライフサイクルの違いによって管理コストが上がっていることです。 Kubernetesのライフサイクルとしては正常だが、SolrCloudとしては問題があるという状態になったとき、本来はリクエストを受けるべきではないのにリクエストを受けてしまい、結局全ての検索エンジンがダウンするなどが発生してしまいます。 ここの管理コストが跳ね上がっているため、SolrCloudを使用せず、Leader/Follower構成での新しい検索システムの開発をしました。SolrCloud構成では全ての検索エンジンが検索も更新も受け取っていますが、Leader/Follower構成では検索を受け付けるSolrと更新を受け付けるSolrを分離し、更にEKSのクラスタレベルで影響を分離しました。 また、アプリケーションとインフラのコードも分離するなど、これまでのAWS化で得られた知見を活かしてより運用コストを減らすことを意識しました
光学シースルーHMDの開発
合同会社DMM.com / 検索アプリケーショングループ
検索チームに入って1から参画したプロジェクトである「検索システムのAWS移行」について技術的なものというよりも、どういう問題があって何を解決したいからそのシステムを採用したのか、といった軸で記載している