募集要項
- 仕事内容
-
サービス開発のための、大規模データ向け分散システム（Hadoop、Kafka、Flink、Trino、Druidなど）として提供する日々大量のデータが発生し、大量のデータがData Platformに蓄積されています。
Data Platform の開発を担当
トータルでは数百PB以上のデータを蓄積・処理し、データ利活用に役立てています。
この膨大なデータを安定して収集・蓄積・処理するために、専用のデータセンターを活用し、
数千台のサーバーを用いて分散システム基盤を構築・運用しています。
Data Platformは、代表的なものとして以下のような技術スタックを活用しています：
分散処理フレームワーク: Hadoop
分散メッセージングシステム: Kafka
分散ストリーム処理システム: Flink
分散SQLエンジン: Trino
分散データストア: Druid
これらの技術を駆使して、ビッグデータを安全かつ効率的に活用するためのインフラを提供しています。
また、データサイエンティストが簡単にAI活用できることを目指して、
機械学習プラットフォーム（AIプラットフォーム）も独自で構築し提供しています。
主な業務内容
データ収集と統合: 異なるデータソースからのデータを効率的に収集し、
統合するためのETLパイプラインの設計・実装。
リアルタイムデータ処理: KafkaやFlinkを用いたリアルタイムデータ処理の最適化と運用。
スケーラビリティとパフォーマンス: ネットワークの設計やハードウェアの選定など専門チームと協業しながら
スケーラブルなインフラの設計・実装、パフォーマンスの最適化。
データ品質とガバナンス: データの一貫性、正確性、完全性を確保するためのツールやプロセスの導入。
データセキュリティとプライバシー: データの暗号化、アクセス制御、コンプライアンス対応。
AI/MLの統合と運用: 機械学習プラットフォームの構築・運用、MLOpsの導入。
- 応募資格
-
- 必須
-
・分散システムを利用したデータ基盤の構築、運用の経験(1年以上)
・Python・Java・Goいずれかのプログラミング業務経験(1年以上)
・Kubernetes、Dockerを使ったミドルウェアやサービスの開発と運用の経験
- 歓迎
-
・100台規模以上の分散システムにおけるソフトウェア エンジニアリングまたは
システム エンジニアリングの経験
・Apache Hadoop、Apache Kafka、Apache Flink、Apache Druidなどを利用したアプリケーションの開発・運用の経験
・Apache Hadoop、Apache Kafka、Apache Flink、Apache Druidなどエコシステムの運用保守設計、及び運用改善経験
・KubernetesのClusterやエコシステムの設計、構築、運用経験
・Web Applicationの開発・運用の経験
・CI/CDなどによるシステム自動化の経験
・機械学習のシステム開発やプログラムの実装経験
・Google Cloud Platform、Amazon Web ServicesでのAI開発経験
・オープンソースへの貢献
- 雇用形態
- 正社員
- 勤務地
- 北海道 / 青森県 / 岩手県 / 宮城県 / 秋田県 / 山形県 / 福島県 / 茨城県 / 栃木県 / 群馬県 / 埼玉県 / 千葉県 / 東京都 / 神奈川県 / 山梨県 / 富山県 / 石川県 / 福井県 / 新潟県 / 長野県 / 愛知県 / 静岡県 / 岐阜県 / 三重県 / 大阪府 / 京都府 / 兵庫県 / 滋賀県 / 奈良県 / 和歌山県 / 広島県 / 岡山県 / 鳥取県 / 島根県 / 山口県 / 徳島県 / 香川県 / 愛媛県 / 高知県 / 福岡県 / 熊本県 / 佐賀県 / 長崎県 / 大分県 / 宮崎県 / 鹿児島県 / 沖縄県
- 勤務時間
-
フレックスタイム制（標準労働時間7時間45分 ※コアタイムなし）
始業および終業の時刻は個人に委ねます。 但し、標準時間として始業時刻は9:30、終業時刻は18:15となります。
※部署により通常勤務（9:30～18:15）、シフト勤務あり。
- 年収・給与
- 600万円 ～1800万円
- 待遇・福利厚生
- 選択型確定拠出年金制度、総合福祉団体定期保険、長期所得補償制度、財形貯蓄制度、株式累積投資制度、定期健康診断・人間ドック二次検査の費用補助、社内マッサージ室、サークル、懇親会費補助など
- 休日休暇
-
休日
完全週休2日制（土日 ※1）、国民の祝日、年末年始（12月29日から1月4日まで）
休暇
有給休暇、特別有給休暇（慶弔、マタニティ、子の看護、介護、法定伝染病など）、ハッピーフライデー ※2、サバティカル休暇制度
その他
育児勤務、介護勤務
※1 部署により異なります。
※2 祝日が土曜日にあたった場合、前労働日を振り替え特別休日としています。
