募集要項
- 仕事内容
-
「スタンバイ」のデータエンジニアとして、ビッグデータ解析/分散処理基盤開発をお任せします。 2019年にヤフー株式会社（以下、ヤフー）を傘下に持つZホールディングス株式会社（現：LINEヤフー株式会社）と 株式会社ビズリーチ（現：ビジョナル株式会社）との合弁会社として新たなスタートを切り、 LINEヤフー株式会社が持つ様々なグループアセットと連携することも可能になりました。 今後様々な連携を行っていく上でのデータ基盤開発を強化していく方針であり、 その推進をお願いできればと考えております。
＜具体的な業務例＞
■Databricks 上に構築された社内向けの新データ基盤の開発・運用
■AWS 上に構築された旧データ基盤の運用
■社内各所の要求に応じた dbt によるデータモデリング
■AWSを利？したビッグデータ解析？分散処理基盤のアーキテクチャ選定から設計
■実装、運？フロー？動化の提案、実装
■ビジネスサイドの要望をヒアリング、最適なアーキテクチャの選定
■各所ニーズ(マーケター、サイエンティスト、機械学習エンジニアなど）に応じたデータセットの作成
■機械学習エンジニアと協業し、機械学習モデルのAPI環境の実装や、git，CI/CDの仕組み作りと維持
▽開発環境
クラウドサービス：AWS (S3， Athena， Glue， MWAA， Kinesis， Lambda， etc.)
データ基盤：Databricks， Redash， etc.
データモデリング：dbt
プロビジョニング：Terraform
開発ツール：GitHub， Slack， JIRA
- 応募資格
-
- 必須
-
【必須経験・スキル】
■pull request ベースでの Python 等のプログラム開発経験（5年以上）
■データ基盤の設計/構築、または運用経験（3年以上）
■SQL によるデータ分析やデータモデリングの経験（3年以上）
■AWS もしくは GCPを利用したサービスの構築経験（3年以上）
■dbtを用いたデータモデルやデータパイプラインの開発経験（1年以上）
【歓迎経験・スキル】
■データ基盤チームのチームリードの経験
■Databricks， Snowflake などのプラットフォーム上に構築されたデータ基盤の開発・運用経験
■Terraform による IaC の経験
■Apache Spark 等の分散処理フレームワークを利用した開発経験
■Apache Airflow などのワークフローオーケストレーションを利用した開発経験
■アジャイル（スクラムベース）での開発経験
- 雇用形態
- 正社員
- 勤務地
- 東京都
- 年収・給与
- 400～800万円
