募集要項
- 仕事内容
-
【主な業務内容】
■お任せしたいこと｜AI SaaSの心臓部を支えるデータエンジニア
スマサテのプロダクトの心臓部である「データ基盤」の開発・運用を担うポジションです。
世の中に散らばる膨大かつ雑多な不動産情報を収集し、誰もが使える「綺麗なデータ」へとクレンジング・構造化していくのがメインミッションです。
データサイエンティストの高度な分析や、アプリケーションの高速処理に耐えうる「綺麗で構造化されたデータ」へと継続的に変換・蓄積するため、スケーラブルなデータパイプラインの設計・運用をリードしていただきます。
具体的には....
■データ基盤（DWHやデータレイク等）のアーキテクチャの選定、設計、構築
■Web上からの継続的な不動産データ収集（クローリングやスクレイピング）、クレンジングおよび整形プログラムの実装
■バッチ処理やストリーミング処理のデータパイプラインの構築と最適化
■データ品質の担保、インフラ基盤やパイプラインの監視、パフォーマンスチューニング
■アプリチームやデータサイエンティストとの要件定義、データスキーマのすり合わせ
【開発スタイル】
1)難易度やメンバーのスキルに応じて、タスクをアサイン
2)そのメンバーが主体的に設計・開発・テストまでを行ってプルリクエストまで担当
3)他メンバーがレビュー・動作確認を経てリリース
が基本的な流れになります。
まだ若い会社ですが、次のような文化・スタイルが醸成されてきています。
■品質第一：リリース前に複数人でテスト。バグ発生時は全員で初動対応します。
■高速サイクル：週2，3回アップデートをリリースできる体制を構築。
【開発環境】
■開発言語：Ruby， PHP， Python， JavaScript， Node.js， TypeScript
■フレームワーク：Ruby on Rails， Django， React， Vue.js
■OS：Linux
■DB：MySQL8.x ， BigQuery
■インフラ：AWS， GCP
■テスト: Autify， RSpec， Vitest
■CI/CD: CircleCI
■ソースコード管理：GitHub
■ローカル開発環境：Do
- 応募資格
-
- 必須
-
【必須スキル】
■Pythonを用いたデータパイプライン（ETL/ELT）またはデータ処理バッチの開発経験（3年以上）
■AWSやGCP等クラウドインフラを利用したデータ基盤（DWH、データレイク等）の構築・運用経験
■SQLを用いた複雑なデータ抽出・集計の実務経験
■RDBMSおよびNoSQLデータベースの設計・運用経験
【歓迎スキル】
■大規模データ（数億～10億レコード超）を扱う処理基盤の最適化経験
■大規模なWebクローラー/スクレイピングシステムの構築・運用経験
■dbt/Airflow等のオーケストレーションツールを用いた開発・運用経験
■BIツール（Tableau、Metabase等）のデータマート構築・運用経験
■Elasticsearch等を用いた検索システムの構築・チューニング経験
■生成AI×データ活用の経験（RAG/LLM連携等）
■マイクロサービス化・データメッシュ設計の経験
■データセキュリティやガバナンスに関する知見
■不動産・金融領域のデータ業務経験
【求める人物像】
■「綺麗なデータ」を作ることに誇りを持ち、細部の品質にこだわれる方
■データサイエンティストやアプリエンジニアと連携し、チームのアウトプットを最大化することに喜びを感じる方
■レガシーなデータを扱う泥臭い作業もいとわず、技術力でスマートに解決できる方
■ユーザーの気持ちを考え誠実に対応できる方
■仕事の期限を意識しつつアジャイルな柔軟性もある方
■TRY&ERRORでくじけない方
- 雇用形態
- 正社員
- 勤務地
- 東京都
- 年収・給与
- 800～1500万円
