ランサーズ株式会社 / 開発
分析基盤の構築
## プロジェクトの目的・背景 BizチームがKPI分析を行うためのデータ分析基盤を約2週間で構築しました。 データ基盤のインフラにはFargateを使い、CircleCIを使ったCI/CD、Terraformを使ったインフラ構成管理を行っています。 既存の別システムの分析基盤がEC2上に構築されていましたが、運用作業や属人化などが発生していたため、本プロジェクトでは全てのアプリケーションをFargate上に構築しました。 ## システム構成 - Fargate上に構築したDigdag/Embulkを実行し、BigQueryにデータをロード - Fargate上に構築したRedashでBigQuery上のデータをクエリ・分析 ## 使用技術 - AWS(Fargate・RDS・ElastiCache) - GCP(BigQuery) - Terraform 1.0.5 - ETL(Digdag/Embulk) - Redash ### 具体的な取り組み 1. 運用自動化 - EC2での手動運用をFargateで自動化 - コンテナ化による運用効率の向上 - 保守性の改善 2. 技術検証 - Redash公式ドキュメントやコミュニティ資料の活用 - コンポーネント構成の最適化 3. セキュリティ強化 - IAMロールの適切な割り当て - S3からのenv file読み込み - SSMパラメータストアの活用 - secret mountの実装 ### 成果 - 運用工数の削減 - セキュリティベストプラクティスの確立 - 社内ノウハウの蓄積