À propos de SQLI
SQLI est un leader européen de l'expérience client et de la transformation digitale. L'entreprise aide les grandes marques internationales à créer de la valeur grâce à la technologie et l'innovation, en combinant technologies de pointe, méthodologies éprouvées et expertise technologique approfondie.
Description du poste
Au sein de la Direction des Technologies, vous serez un acteur clé dans la conception, l'optimisation et la supervision de nos pipelines de données. En tant que référent Databricks, vous apporterez votre expertise pour améliorer l'architecture, la performance et la fiabilité de nos flux de données.
Missions principales
- Concevoir, développer et optimiser des pipelines de traitement et de transformation de données sur Azure Databricks et Azure Data Lake
- Définir et implémenter des architectures data robustes et scalables pour supporter la croissance des volumes de données
- Mettre en place des tests automatisés et garantir la qualité et la fiabilité des pipelines de données
- Participer à la définition et l'optimisation des pipelines CI/CD via Azure DevOps
- Appliquer les meilleures pratiques de Data Engineering et software engineering à toutes les étapes du développement
- Collaborer avec les Product Owners Data et les équipes métiers pour proposer des solutions innovantes
- Superviser les traitements de données et assurer le monitoring via Datadog ou outils équivalents
- Identifier et implémenter des optimisations pour améliorer les performances et réduire les coûts sur Databricks
Environnement technique
Langages : SQL, PySpark, Python, Scala
Outils & BI : Power BI, SSIS, SSAS, Business Objects, Datadog, Snyk
Cloud & Data : Azure Databricks, Azure Data Factory, ADLS Gen2
CI/CD & DevOps : Git, Azure DevOps
Qualifications requises
- Diplôme Bac+5 en informatique, ingénierie ou domaine équivalent
- Minimum 5 ans d'expérience en Data Engineering, Data Architecture ou Databricks, avec expérience dans le pilotage d'équipe ou de projets
- Maîtrise avancée de plusieurs langages : Python, PySpark, Scala, SQL
- Expertise confirmée dans le développement et l'optimisation de pipelines Databricks
- Maîtrise de Spark UI pour diagnostiquer et améliorer la performance des traitements complexes
- Très bonne connaissance de l'écosystème Azure Cloud et de ses services orientés Data
- Expérience dans la mise en place des bonnes pratiques de développement : clean code, versioning, tests unitaires, CI/CD
- Pratique avancée de dbt ou frameworks similaires pour la transformation SQL et l'orchestration de données
- Expérience du travail en méthodologie Agile
- Leadership et esprit d'équipe : capable de guider et coacher les membres de l'équipe
- Capacité d'adaptation rapide dans un environnement technique en constante évolution
Pourquoi rejoindre notre équipe ?
- Un environnement dynamique et innovant, au sein d'une équipe passionnée par les technologies de données
- La possibilité de travailler sur des projets d'envergure, à la pointe des technologies cloud et Big Data
- Des opportunités d'évolution et de formation continue pour développer vos compétences
- Un cadre de travail flexible et des avantages attractifs
Mise en forme par Postule ·
Signaler un problème