技術的に最も苦労した課題
ビッグデータ基盤の活用が拡大し、データカタログ数が増加したことに伴い、Kafka によるデータ配信の重要性も増したため、スケーラビリティや安定性を勘案し、従来 EC2 上に構築していた Kafka サーバーをマネージドサービスである AWS MSK へ移行することになった。この移行作業の主担当者として手順の検討から移行後の後片付けまでの全プロセスに携わった。 移行に際してはダウンタイムゼロで移行する制約があり、この点に最も苦労した。結果的に、データマイグレーションツールを使用して新旧 Kafka を並行運用できるようにしたが、検証過程において、データ量過多によるプロセスの停止やディスクフル障害、パーティション数の上限到達、といった問題を解決する必要があった。また、Kafka を利用する各連携アプリが AWS MSK へ段階的に移行できるように設計・実装を行い、各連携アプリ開発者への対応依頼等、関係各所との調整も行った。 途中、割り込み対応による中断を挟みつつ、6ヶ月間ですべての作業を完了することができた。