logo

Data Engineer Senior - Azure & Databricks

localisationRabat, Rabat-Salé-Kénitra, Morocco

Décryptage du poste par Postule AI

À propos du rôle

Nous recherchons un Data Engineer expérimenté pour rejoindre DXC Technology Morocco. Vous piloterez la conception technique, la direction d'équipe et la communication avec les stakeholders sur la plateforme Azure, en maîtrisant Databricks, PySpark et les pipelines de traitement de données batch/streaming.

Responsabilités principales

  • Écrire, tester et optimiser le code constituant les produits de données
  • Concevoir et mettre en œuvre des pipelines de traitement de données exploitant les technologies batch et streaming
  • Diriger une équipe de développeurs et encadrer les membres plus juniors
  • Fournir et exécuter des conceptions techniques de composants de plateforme de données
  • Superviser la livraison de fonctionnalités complètes et communiquer avec les parties prenantes externes
  • Établir des normes, modèles et bonnes pratiques au sein de l'équipe

Compétences techniques requises

Data Engineering

  • Expérience indispensable sur Azure Data Platform avec Databricks
  • Maîtrise de Spark, PySpark et des concepts sous-jacents
  • Architecture Medallion (Bronze-Silver-Gold) et formats Delta/Iceberg/Parquet
  • Orchestration (ADF, Airflow, Luigi, Prefect)
  • Modélisation de données avancée (DataVault, Kimball)
  • ETL/ELT, Data Lakes, Data Warehouses

Software Engineering

  • Python ou C# à niveau avancé (minimum Python)
  • SQL à niveau expert ou avancé
  • Pratiques DevOps, CI/CD et Git avec stratégies de branchement
  • Tests unitaires, documentation et gestion des erreurs
  • Modularité, observabilité, sécurité et linting

Plateforme Azure

  • Azure Data Lake gen2, Azure Data Factory, Azure SQL
  • Azure Synapse, Azure Stream Analytics, CosmosDB
  • Docker/Kubernetes, Key Vault, App Services
  • Sécurité, automatisation et gestion des coûts Azure

Compétences transversales

  • Capacité à diriger et encadrer une équipe
  • Communication efficace avec les stakeholders internes et externes
  • Pensée créative, résolution de problèmes et gestion de projet
  • Compétences en présentation et communication écrite

Cette description d'emploi a pu être reformatée par Postule pour améliorer sa lisibilité et sa présentation. Le contenu et les informations restent fidèles à l'offre d'emploi originale. .