Senior Data Engineer / Data Engineering Tech Lead - Freelance (H/F)

À propos du poste

MISSIONS

Le Senior Data Engineer / Data Engineering Tech Lead sera responsable des fondations techniques qui rendent les données 24/7 utilisables, fiables et évolutives. Ce rôle senior est très opérationnel avec des responsabilités légères de leadership technique, et non un poste généraliste en développement .NET. L'accent est mis sur l'ingestion, la transformation, la qualité des données, la traçabilité, l'observabilité et la livraison sécurisée de produits de données et de jeux de données prêts au calcul. Le rôle guide les choix et standards techniques tout en continuant à concevoir et construire des composants critiques directement. Travaillant au sein de l'équipe fonctionnelle 24/7, le Senior Data Engineer / Data Engineering Tech Lead collaborera avec le Product Owner, les Business Analysts, les ingénieurs logiciels, les architectes, les équipes plateforme data et les parties prenantes pays. La personne doit être à l'aise pour livrer des solutions tactiques sans perdre de vue l'architecture cible et les capacités réutilisables.

Responsabilités principales

A. Architecture des données et intégration des sources

*

Contribuer à l'architecture des données de bout en bout et documenter les flux, interfaces, dépendances et responsabilités actuels et cibles.

*

Concevoir et construire des pipelines d'ingestion à partir de jeux de données internes, bases de données, API REST, flux partenaires et échanges de fichiers contrôlés.

*

Intégrer des données pays hétérogènes tout en isolant la logique spécifique aux sources via des connecteurs réutilisables et des contrats d'interface clairs.

*

Implémenter des traitements batch et, lorsque justifié par les niveaux de service métier, des patterns quasi temps réel ou streaming.

*

Définir une gestion robuste de l'évolution des schémas, des données tardives, des rejouages, de l'idempotence, des backfills et des enregistrements échoués.

*

Collaborer avec les équipes plateforme pour décider quand 24/7 doit consommer des produits de données existants ou des capacités partagées de séries temporelles plutôt que dupliquer des copies locales.

B. Ingénierie des séries temporelles et modélisation des données

*

Concevoir des structures évolutives pour des données d'intervalle à fort volume, incluant la consommation client et la production d'actifs.

*

Définir et maintenir des modèles canoniques pour client, entité légale, site, point de comptage, contrat, actif, allocation, certificat, série temporelle, résultat de matching et période de reporting.

*

Appliquer des patterns de modélisation adaptés aux données opérationnelles applicatives, produits analytiques et jeux de données prêts au calcul.

*

Gérer les fuseaux horaires, transitions heure d'été, granularité des intervalles, unités de mesure, intervalles manquants, doublons et corrections versionnées.

*

Optimiser le stockage, le partitionnement, l'indexation et la performance de traitement selon les charges et exigences de rétention.

C. Transformation des données et activation des calculs

*

Construire des transformations testées standardisant les données sources en courbes de consommation et production prêtes au calcul.

*

Permettre le Hourly Matching Score et les indicateurs clients associés via des jeux de données et services de calcul reproductibles et versionnés.

*

Collaborer avec les spécialistes métier et produit pour traduire les règles de calcul en spécifications techniques explicites et tests automatisés.

*

Préserver la distinction entre mesures opérationnelles provisoires et résultats de reporting validés ou certifiés.

D. Qualité des données, traçabilité et observabilité

*

Mettre en œuvre des contrôles automatisés de complétude, validité, actualité, unicité, cohérence et intégrité référentielle.

*

Définir des contrôles de réconciliation entre données sources, ingérées, transformées et reportées.

*

Fournir