Data Engineer Senior Microsoft Fabric - RUN, Industrialisation & Évolutions Data - Freelance (H/F)

À propos du poste

CONTEXTE ET ENJEUX

Dans le cadre de la transformation digitale d'un groupe industriel international multi-sites, nous recherchons un Data Engineer Senior Microsoft Fabric, disposant d'une forte expertise en développement et en exploitation de plateformes Data en production.

La mission consiste à reprendre en main une plateforme Data Groupe existante, à fiabiliser son fonctionnement, à résoudre les incidents prioritaires et à accompagner son évolution tout en renforçant l'autonomie des équipes internes.

La plateforme repose sur Microsoft Fabric, avec une architecture Lakehouse organisée en couches Bronze, Silver et Gold. Elle consolide des données provenant de plusieurs ERP, de Salesforce, de fichiers et de sources historiques, afin d'alimenter notamment Power BI.

L'environnement connaît plusieurs enjeux :

*

Stabilisation des pipelines, des traitements batch et de la qualité des données.

*

Résolution des incidents de chevauchement de batchs, de données incomplètes et de corrections manuelles.

*

Industrialisation de l'intégration Salesforce.

*

Résorption des alimentations directes de Power BI via Google Sheets et fichiers Budget/Forecast.

*

Accompagnement de la transition depuis MyReport et SSIS.

*

Préparation des futures transformations ERP, CRM et digitales.

*

Clarification de l'articulation entre Fabric, les ERP et les solutions ESB/iPaaS.

*

Renforcement des pratiques de développement, de supervision, de déploiement et de transfert de compétences.

Point essentiel : nous recherchons un véritable développeur Data senior, capable d'intervenir personnellement dans le code, les notebooks et les pipelines. Il ne s'agit ni d'une mission d'audit, ni d'un poste d'architecte exclusivement orienté conseil.

MISSIONS DÉTAILLÉES

1. REPRISE EN MAIN TECHNIQUE DE MICROSOFT FABRIC

*

Analyser les workspaces, Lakehouses, notebooks, pipelines, modèles sémantiques, sources, règles de sécurité et documentation existante.

*

Exécuter les traitements existants, reproduire les anomalies et identifier leurs causes techniques.

*

Cartographier les flux de bout en bout, depuis les sources jusqu'aux restitutions Power BI.

*

Identifier les contournements, dépendances, traitements manuels et composants insuffisamment documentés.

*

Diagnostiquer les flux Salesforce, notamment leurs mécanismes actuels d'alimentation par fichiers, feuilles intermédiaires ou modèles sémantiques.

*

Évaluer l'ordonnancement, les fenêtres batch, les capacités, la supervision, la journalisation, les alertes, les mécanismes de reprise et la gestion des secrets.

*

Analyser les transformations et contrôles de qualité entre Bronze, Silver et Gold.

*

Évaluer la maintenabilité du code SQL, Python/PySpark et des notebooks : modularité, conventions, versioning et dette technique.

*

Identifier les dépendances avec MyReport, SSIS, ERP, Salesforce, MuleSoft et les futures solutions d'intégration.

*

Construire un backlog technique priorisé et développer immédiatement les premiers correctifs ou quick wins.

2. STABILISATION ET SÉCURISATION DU RUN

*

Corriger les incidents affectant la disponibilité, la complétude et la fiabilité des données.

*

Stabiliser les pipelines et leurs dépendances.

*

Éliminer les chevauchements critiques entre traitements batch.

*

Mettre en œuvre des mécanismes de monitoring, alerting, logging et rejouabilité.

*

Industrialiser les contrôles de fraîcheur, de cohérence et de complétude des données.

*

Formaliser les procédures de reprise après incident.

*

Définir les niveaux de service adaptés aux flux : temps réel, quasi temps réel, batch ou asynchrone.

*

Mettre en place des indicateurs de RUN : succès/échecs, durée, volumétrie, fraîcheur, incidents et dette technique.

*

Sécuriser les accès, comptes techniques, secrets et permissions selon le principe du moindre privilège.