【2.業務委託】11.データエンジニア
Posted Updated 10
views
Description
【2.業務委託】11.データエンジニア
仕事概要
全ての施策の起点となるデータ分析基盤の構築や、データを活用した機能の開発、及びそれらの運用を担います。拡張余地のある基盤であり、制約の少ない状態で構築可能なため、スキルを最大限発揮し、データエンジニアとして十分な実績を積むことができます。
▽業務内容の一例
◇ データパイプラインの構築
主に、DWHにデータを蓄積するデータパイプラインを構築します。
- データパイプラインの一例
- Google Cloud Storageに置かれたCSVファイルをBigQueryに取り込む
- 外部APIからデータを取得し、それらをBigQueryに取り込む
- BigQueryに取り込んだデータを基に、用途・目的に応じたデータマートの作成を行う
- アプリケーションのアクセスログをリアルタイムにBigQueryに取り込む
- 使用しているサービス
- Google Cloud（Cloud Composer, Dataflow, Cloud Run など）
◇データの活用
DWHに集約したデータを基に、レコメンド機能などの開発や改善を行います。
- 機能の一例
- 物件の推薦（レコメンド）データの作成
- 物件のランキングデータの作成
- 物件一覧の表示順を最適化
- 作成したデータをアプリケーションに連携する機能（バッチ連携・リアルタイム連携）
- 使用しているサービス
- Google Cloud（Vertex AI, Dataproc, Cloud Run, Bigtable など）
必須スキル
全ての施策の起点となるデータ分析基盤の構築や、データを活用した機能の開発、及びそれらの運用を担います。拡張余地のある基盤であり、制約の少ない状態で構築可能なため、スキルを最大限発揮し、データエンジニアとして十分な実績を積むことができます。
▽業務内容の一例
◇ データパイプラインの構築
主に、DWHにデータを蓄積するデータパイプラインを構築します。
- データパイプラインの一例
- Google Cloud Storageに置かれたCSVファイルをBigQueryに取り込む
- 外部APIからデータを取得し、それらをBigQueryに取り込む
- BigQueryに取り込んだデータを基に、用途・目的に応じたデータマートの作成を行う
- アプリケーションのアクセスログをリアルタイムにBigQueryに取り込む
- 使用しているサービス
- Google Cloud（Cloud Composer, Dataflow, Cloud Run など）
◇データの活用
DWHに集約したデータを基に、レコメンド機能などの開発や改善を行います。
- 機能の一例
- 物件の推薦（レコメンド）データの作成
- 物件のランキングデータの作成
- 物件一覧の表示順を最適化
- 作成したデータをアプリケーションに連携する機能（バッチ連携・リアルタイム連携）
- 使用しているサービス
- Google Cloud（Vertex AI, Dataproc, Cloud Run, Bigtable など）
歓迎スキル
・大規模データを活用したレコメンド機能の開発経験・Vertex AIを用いたMLOpsの経験
・Terraform / GitHub Actionsを用いた実務経験
・リアルタイムでデータを収集・活用する分析基盤の構築経験
・Google広告などの広告媒体とのデータ連携機能の開発経験
・Go言語を利用した実務経験
求める人物像
・事業貢献をしている実感を持ちながら仕事をしたい方・仮説検証しながら、よりよいものを作るのが好きな方
・仕事もプライベートも楽しみたい方
・スピード感をもって仕事をしたい方
・自分の意思をもって、意味がある・筋が通っていると思える仕事に取り組みたい方