IT / インフォメーション・テクノロジー
Senior Data Engineer (E1) - Data Platform & Strategy
|
職務内容
Job description
|
■Technical Development (80%)
・Design and implement scalable, production-grade data platform infrastructure components using AWS, Databricks, and modern data stack architecture patterns.
・Lead the development of critical data pipeline components and ensure they meet performance, security, reliability, and segregation of duty requirements.
・Architect and implement complex data transformation workflows that handle large-scale data processing efficiently.
・Implement advanced monitoring and observability solutions for the entire Data Platform
・Develop and maintain infrastructure-as-Code to ensure reproducibility and standardization
■Research & Innovation (10%)
・Conduct research on emerging technologies and architectural patterns in the data engineering space that can serve in solving performance/maintainability/efficiency/cost related pain points.
・Evaluate and prototype new tools and frameworks that could enhance platform capabilities.
・Present technical proposals and PoCs to Data Platform Engineering leadership
・Author technical documentation and design proposals for Data platform improvements and smooth onboarding of the team as a whole
■Technical Leadership (10%)
・Provide technical mentorship to team members and review critical code contributions.
・Collaborate with junior stakeholders to align technical solutions with delivery requirements.
・Lead technical design discussions and architecture review sessions.
・Share knowledge through documentation, workshops, and technical presentations
■技術開発 (80%)
・AWS、Databricks、および現代のデータスタックアーキテクチャパターンを使用して、スケーラブルでプロダクショングレードのデータプラットフォームインフラストラクチャコンポーネントを設計および実装する。
・重要なデータパイプラインコンポーネントの開発をリードし、パフォーマンス、セキュリティ、信頼性、職務分離の要件を満たしていることを確認する。
・大規模データ処理を効率的に処理する複雑なデータ変換ワークフローを設計および実装する。
・データプラットフォーム全体の高度な監視および可観測性ソリューションを実装する。
・再現性と標準化を確保するためのインフラストラクチャー・アズ
・コードを開発および維持する。
■研究とイノベーション (10%)
・データエンジニアリング分野における新興技術とアーキテクチャパターンに関する研究を行い、パフォーマンス、保守性、効率性、コストに関連する課題を解決する方法を模索する。
・プラットフォームの機能を強化できる新しいツールやフレームワークを評価し、プロトタイプを作成する。
・データプラットフォームエンジニアリングのリーダーシップに技術提案やPoCを提示する。
・データプラットフォームの改善に関する技術文書や設計提案を作成し、チーム全体のスムーズなオンボーディングを支援する。
■技術的リーダーシップ (10%)
・チームメンバーに技術的メンターシップを提供し、重要なコードの貢献をレビューする。
・ジュニアのステークホルダーと協力して、技術的ソリューションを納品要件に整合させる。
・技術デザインに関する議論やアーキテクチャレビューセッションをリードする。
・文書、ワークショップ、技術プレゼンテーションを通じて知識を共有する。
|
求めるスキル・経験
Job qualification
|
■Requirement (1): Technical and professional skills:
・Master’s degree in computer science, Data Engineering, or related technical field.
・10+ years of experience in data engineering and software development.
・Deep expertise in Cloud Platforms (AWS preferred) and data processing frameworks (Spark preferred).
・Expert-level knowledge of Python (preferred), Scala, or Java.
・Extensive experience with modern SQL Warehouse (Databricks preferred, Snowflake, Big Query), columnar format handling (Parquet / Delta format, ORC preferred), and modern data architecture (Lakehouse preferred).
・Experience with DBT (Data Build Tool) and Data modeling methodologies.
・Expert-level experience with Infrastructure as Code (IaC) practices and tools (Terraform and AWS CDK preferred)
・Strong background in distributed systems and high-performance computing
・Proven track record of leading complex technical initiatives
■Requirement (2): Behavioral skills
・Excellent communication skills with ability to explain complex technical concepts to various audiences.
・Strong problem-solving abilities and analytical thinking.
・Demonstrate leadership in technical decision-making.
・Self-motivated with ability to work autonomously.
・Proven ability to mentor and guide technical team members.
・Result-oriented with strong project management skills.
■Requirement (3): Language skills
・Business level English required.
・Intermediate level Japanese language skills (N2 level)
■要件 (1)：技術的および専門的スキル：
・コンピュータサイエンス、データエンジニアリング、または関連する技術分野の修士号。
・データエンジニアリングおよびソフトウェア開発における10年以上の経験。
・クラウドプラットフォーム（AWSが望ましい）およびデータ処理フレームワーク（Sparkが望ましい）に関する深い専門知識。
・Python（望ましい）、Scala、またはJavaのエキスパートレベルの知識。
・現代のSQLウェアハウス（Databricksが望ましい、Snowflake、Big Query）、カラムナ形式処理（Parquet / Delta形式、ORCが望ましい）、および現代のデータアーキテクチャ（レイクハウスが望ましい）に関する広範な経験。
・DBT（データビルドツール）およびデータモデリング手法の経験。
・インフラストラクチャー・アズ・コード（IaC）プラクティスおよびツール（TerraformおよびAWS CDKが望ましい）に関するエキスパートレベルの経験。
・分散システムおよび高性能コンピューティングに関する強力なバックグラウンド。
・複雑な技術的イニシアティブをリードした実績。
■要件 (2)：行動スキル：
・複雑な技術的概念をさまざまな聴衆に説明する能力を持つ優れたコミュニケーションスキル。
・強力な問題解決能力と分析的思考。 ・技術的意思決定におけるリーダーシップを示す。
・自発的で、自律的に作業できる能力。 ・技術チームメンバーを指導し、メンターする実績。
・結果重視で、強力なプロジェクト管理スキルを持つ。
■要件 (3)：言語スキル：
・英語：ビジネスレベル。
・日本語：中級レベル（N2レベル）。
|
待遇
Condition
|
【賃金】現年収、能力、経験に応じて当社規定により優遇
【勤務時間】
管理監督者に該当するとみなし、次のとおりにする。
始業・終業時刻：午前9時・午後5時を基本とし、労働者の決定に委ねる。
休憩：正午から午後1時までの１時間を基本とし、始業・終業時刻の途中に労働者の決定により取得するものとする。
|
勤務地
Place
|
（雇入れ直後）白金本社
（変更の範囲）会社の定める就業場所へ異動を命じることがある。
|
|
