募集要項
- 仕事内容
-
■AI検索サービス向けデータ基盤において、データの品質保証（Data Quality）、およびETLパイプラインの実装・運用をご担当いただきます。
【具体的には】
■データ品質管理（Data Quality）の実装と監視：40%
AIモデルが常に「正しいデータ」を利用できるよう、データの品質を監視・維持する仕組みを実装していただきます。
・データテストの実装：Dataformやdbt等を用い、データの欠損・重複・異常値を検知するテストコード（Assertion）の作成と実装
・モニタリング環境の整備：データの鮮度や品質低下を検知した際、即座にSlack等へ通知し、原因を特定できるダッシュボードや監視フローの構築
・データリネージの管理：データの発生源から利用箇所までの流れ（リネージ）を整理し、メタデータ管理ツールへの登録・更新を行い、トレーサビリティを確保
■データパイプライン（ETL／ELT）の開発・改善：40%
設計されたアーキテクチャに基づき、実際のデータ処理フローを開発していただきます。
・ETL処理の実装：PythonやSQLを用いて、ログデータや商品データを収集・加工する処理のコーディング
・ワークフローの移行・自動化：手動で行われている既存のデータ処理を、WorkflowEngine（Airflow／VertexAIPipelines）上での自動実行ジョブへ書き換え
・パフォーマンスチューニング：クエリの最適化を行い、データ処理時間の短縮やコスト削減（BigQueryのコスト管理等）
■データサイエンティストとの連携・サポート：20%
データサイエンティストからの「こんな特徴量が欲しい」「データがおかしい」といった要望・問い合わせに対し、SQLを用いた調査やデータ抽出、マート作成を行っていただきます。
- 応募資格
-
- 必須
-
※下記いずれも必須
・SQLを用いたデータ抽出・集計・加工作業の実務経験（目安：1年以上／複雑なJOINやウィンドウ関数が書けるレベル）をお持ちの方
・Python等のスクリプト言語を用いた開発経験をお持ちの方
・データの不整合やエラーに対し、根気強く原因を調査し解決した経験をお持ちの方
・何らかのDB（RDBまたはDWH）におけるテーブル設計やデータ管理の基礎知識をお持ちの方
- 雇用形態
- 正社員
- 勤務地
- 東京都
- 勤務時間
- 09:00 - 17:30（コアタイム：11:00 - 15:00）
- 年収・給与
-
650万円～850万円(経験能力考慮の上優遇)
昇給有、賞与2回
- 待遇・福利厚生
-
【保険】
健康保険、雇用保険、労災保険、厚生年金
【諸手当】
通勤手当、単身赴任手当、転勤補助、他
- 休日休暇
- 年間124日／（内訳）完全週休2日制（土日）、祝日、年末年始、有給休暇（初年度10日、最大20日）
