DATUM STUDIO株式会社 / データエンジニア
大手総合通信事業者が提供するサービスデータ基盤の設計・構築
大手総合通信事業者が展開するデータ・AI活用のための法人向け事業基盤の設計・構築に従事 ①既存のバイプラインの要件変更に伴う改修対応 IaC(Terragrunt)を用いたインフラリソースの追加・変更とパイプライン改修 - 対向システム(AWS)との接続環境変更に伴うAWS及びSnowflakeでのPrivateLinkの設定変更 - 対向システムから共有されるファイルをSnowflakeへ取り込む際に必要な処理を追加 - Lambdaで処理を実施 - LambdaのファイルをGHA経由でデプロイするためのワークフローファイル作成 - 要件変更に伴うdbtを利用したパイプラインの修正対応 ②データ基盤の新規作成に伴うインフラ対応 MCPを利用したサービス(Webアプリケーション)から利用するデータを提供するためにAWS上に新規のリソース作成。こちらもIaC(Terragrunt)を用いたインフラリソースの作成を担当。 - SnowflakeのPrivateLinkを利用した通信経路のセキュア化対応 - S3外部ステージを経由したPrivate Link接続が可能かをVPC・サブネット・EC2などを用いた検証を実施 - PrivateLinkで設定が必要なVPCエンドポイントの調査(インターフェース型とGatewey型) - AssumeRoleを使った対向システムのPut許可ロール作成 - セキュリティルームからのみS3オブジェクトを取得できるようにするための設定検討