Lead Data Engineer Databricks F/H - Système, réseaux, données

A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇

2 à 3 jours de télétravail / semaine - Lyon - Expérience de 5 ans minimum

Envie de participer à la construction d'une plateforme Data stratégique à grande échelle ?

Dans le cadre de notre développement, nous recherchons actuellement un.e Lead Data Engineer Databricks pour intervenir chez l'un de nos clients.

Contexte

Vous rejoindrez un programme majeur de transformation Data visant à moderniser et industrialiser une plateforme décisionnelle de nouvelle génération. Vous participerez à la migration, la structuration et l'industrialisation d'un environnement Data reposant sur Databricks, Spark et Power BI.

Missions

Voici un aperçu détaillé de vos missions :

• Concevoir, développer et maintenir des pipelines Data sous Databricks et Spark
• Développer les traitements en Python, PySpark et SQL
• Participer à la définition et à la mise en œuvre du modèle de données cible
• Industrialiser les pipelines Data (CI/CD, tests, déploiements)
• Mettre en place des traitements robustes, maintenables et performants
• Orchestrer les flux de données via Databricks Workflows
• Garantir la qualité, la fiabilité et l'observabilité des traitements
• Participer au suivi de production et à la résolution des incidents
• Contribuer aux choix d'architecture et aux standards de développement
• Accompagner les équipes dans l'adoption des bonnes pratiques Data Engineering
• Participer à l'amélioration continue de la plateforme et des processus de développement
• Collaborer avec les équipes Data, BI, Product Owner et métiers

Profil recherché

Les compétences que nous recherchons :

• Expertise confirmée sur Databricks
• Très bonne maîtrise de Spark / PySpark
• Très bonne maîtrise de Python et SQL
• Solides compétences en modélisation de données
• Maîtrise de Delta Lake et Unity Catalog
• Expérience significative en industrialisation de pipelines Data (CI/CD, tests, déploiements)
• Expérience sur des environnements Cloud publics
• Bonne maîtrise des problématiques de performance, qualité et maintenabilité

Compétences appréciées :

• Terraform
• Databricks Workflows
• Kafka
• Lakeflow / Delta Live Tables (DLT)
• Power BI
• Certification Databricks
• Certification Cloud

Si vous êtes prêt.e à relever ce défi et à contribuer à des projets stimulants, n'hésitez pas à postuler dès maintenant !