À propos du rôle
Au sein de la direction Transformation Digitale & Data, vous intégrerez une équipe agile dédiée à la conception de produits Data. Vous jouerez un rôle clé dans la construction et l'optimisation des pipelines de données dans un environnement distribué basé sur Cloudera CDH et Spark.
Responsabilités principales
- Concevoir, développer et optimiser des pipelines de données robustes et scalables sur plateforme on-premise Cloudera CDH & Spark
- Assurer la qualité des données en définissant et implémentant des tests unitaires et de validation
- Mettre en place des systèmes d'observabilité pour monitorer la qualité et la fiabilité des data assets
- Gérer et optimiser l'orchestration des workflows avec Apache Airflow
- Participer à la montée en compétence des Data Engineers en partageant les bonnes pratiques
- Collaborer avec les Product Owners pour valider la fiabilité des data assets avant publication
Compétences requises
- Langages : Python (pandas, pytest, pandera, FastAPI), SQL, Scala/Java
- Big Data & Processing : Hadoop, Spark, Hive, Impala
- Orchestration & Observabilité : Airflow, Unit Testing, DBT, Docker, docker-compose
- CI/CD & Versioning : Gitlab
Atouts supplémentaires
- Expérience avec GenAI (RAG, LLM serving)
- Expérience cloud (AWS, GCP, Azure)
- Connaissance des pratiques DevOps et MLOps
Votre curiosité et votre capacité à communiquer avec les équipes sont vos atouts pour garantir des livrables alignés aux besoins.
Mise en forme par Postule ·
Signaler un problème