募集要項
- 仕事内容
-
「スタンバイ」のデータエンジニアとして、ビッグデータ解析/分散処理基盤開発をお任せします。 2019年にヤフー株式会社(以下、ヤフー)を傘下に持つZホールディングス株式会社(現:LINEヤフー株式会社)と 株式会社ビズリーチ(現:ビジョナル株式会社)との合弁会社として新たなスタートを切り、 LINEヤフー株式会社が持つ様々なグループアセットと連携することも可能になりました。 今後様々な連携を行っていく上でのデータ基盤開発を強化していく方針であり、 その推進をお願いできればと考えております。
<具体的な業務例>
■Databricks 上に構築された社内向けの新データ基盤の開発・運用
■AWS 上に構築された旧データ基盤の運用
■社内各所の要求に応じた dbt によるデータモデリング
■AWSを利?したビッグデータ解析?分散処理基盤のアーキテクチャ選定から設計
■実装、運?フロー?動化の提案、実装
■ビジネスサイドの要望をヒアリング、最適なアーキテクチャの選定
■各所ニーズ(マーケター、サイエンティスト、機械学習エンジニアなど)に応じたデータセットの作成
■機械学習エンジニアと協業し、機械学習モデルのAPI環境の実装や、git,CI/CDの仕組み作りと維持
▽開発環境
クラウドサービス:AWS (S3, Athena, Glue, MWAA, Kinesis, Lambda, etc.)
データ基盤:Databricks, Redash, etc.
データモデリング:dbt
プロビジョニング:Terraform
開発ツール:GitHub, Slack, JIRA
- 応募資格
-
- 必須
-
【必須経験・スキル】
■pull request ベースでの Python 等のプログラム開発経験(5年以上)
■データ基盤の設計/構築、または運用経験(3年以上)
■SQL によるデータ分析やデータモデリングの経験(3年以上)
■AWS もしくは GCPを利用したサービスの構築経験(3年以上)
■dbtを用いたデータモデルやデータパイプラインの開発経験(1年以上)
【歓迎経験・スキル】
■データ基盤チームのチームリードの経験
■Databricks, Snowflake などのプラットフォーム上に構築されたデータ基盤の開発・運用経験
■Terraform による IaC の経験
■Apache Spark 等の分散処理フレームワークを利用した開発経験
■Apache Airflow などのワークフローオーケストレーションを利用した開発経験
■アジャイル(スクラムベース)での開発経験
- 雇用形態
- 正社員
- 勤務地
- 東京都
- 年収・給与
- 400~800万円
