募集要項
- 募集背景
- コンサルタントより詳細をご説明させていただきます。
- 仕事内容
-
これまでのご経験を生かして活躍しませんか。AI検索サービス向けデータ基盤において、データの品質保証(Data Quality)、およびETLパイプラインの実装・運用を担当します。
エンジニアの転職はメイテックネクストへご相談ください
1.データ品質管理(Data Quality)の実装と監視:40%
AIモデルが常に「正しいデータ」を利用できるよう、データの品質を監視・維持する仕組みを実装します。
データテストの実装: Dataformやdbt等を用い、データの欠損・重複・異常値を検知するテストコード(Assertion)の作成と実装。
モニタリング環境の整備: データの鮮度や品質低下を検知した際、即座にSlack等へ通知し、原因を特定できるダッシュボードや監視フローの構築。
データリネージの管理: データの発生源から利用箇所までの流れ(リネージ)を整理し、メタデータ管理ツールへの登録・更新を行い、トレーサビリティを確保する。
2.データパイプライン(ETL/ELT)の開発・改善:40%
設計されたアーキテクチャに基づき、実際のデータ処理フローを開発します。
ETL処理の実装: PythonやSQLを用いて、ログデータや商品データを収集・加工する処理のコーディング。
ワークフローの移行・自動化: 手動で行われている既存のデータ処理を、Workflow Engine(Airflow/Vertex AI Pipelines)上での自動実行ジョブへと書き換える。
パフォーマンスチューニング: クエリの最適化を行い、データ処理時間の短縮やコスト削減(BigQueryのコスト管理等)を行う。
3.データサイエンティストとの連携・サポート:20%
データサイエンティストからの「こんな特徴量が欲しい」「データがおかしい」といった要望・問い合わせに対し、SQLを用いた調査やデータ抽出、マート作成を行う。
■仕事のやりがい(面白さ)
AIの精度向上に直結: 自身が整備・クレンジングしたデータによって、検索精度やレコメンドの質が向上する様子をダイレクトに感じられます。
モダンな技術スタックでの経験: GCP (BigQuery Vertex AI) や Dataform といったモダンなデータ基盤技術を使用し、大規模データ処理(Big Data)の実務ス...
- 応募資格
-
- 必須
-
【必須】
SQLを用いたデータ抽出・集計・加工作業の実務経験(目安:1年以上 / 複雑なJOINやウィンドウ関数が書けるレベル)
Python等のスクリプト言語を用いた開発経験
何らかのDB(RDBまたはDWH)におけるテーブル設計やデータ管理の基礎知識
データの不整合やエラーに対し、根気強く原因を調査し解決した経験
【歓迎】
GCP (BigQuery) または AWS (Redshift Athena) でのデータ処理経験
Dataform dbt 等のELTツールを用いたデータモデリング・テスト実装経験
Airflow 等のワークフローエンジンを用いたジョブ管理の経験
Git / GitHub を用いたチーム開発経験
データ品質(Data Quality)に関する関心・知識
Webサービスのログ設計やデータ収集に関する知識
- 歓迎
- 応募資格をご覧ください。
- フィットする人物像
- 応募資格をご覧ください。
- 雇用形態
- 正社員
- 勤務地
- 東京都
- 勤務時間
- 09:00~17:30
- 年収・給与
-
650万円~850万円
■年収についての補足
※スキル・ご経験に応じて決定
- 待遇・福利厚生
-
■諸手当
交通費※会社規定に基づき支給 退職一時金制度 確定拠出年金制度 社内研修制度 自己啓発支援制度 社内英会話レッスン(本社ビルのみ) 保養所(ラフォーレ倶楽部) テーマパークチケット優待
■各種保険
健康保険 厚生年金保険 労災保険 雇用保険
- 休日休暇
- 完全週休2日制(土日)/祝日/年末年始(12/29~1/4)※ただし、業務の都合で休日を他の日に振替えることがある 有給(初年度:即日付与。日数は入社日によって変動。次年度以降:4月に付与) 慶弔休暇 特別休暇
- 選考プロセス
- ■面接回数2■試験内容例)▼1次面接:人事面接 ・部門面接 ▼最終面接:役員面接 ※場合によって変更するケースがございます
