Mission · 2026
Package dbt d'observabilité des données (grand groupe industriel)
- Secteur
- Industrie
- Rôle
- Data Engineer
- Année
- 2026
- Employeur
- Thélio
- Thèmes
- DataOps et gouvernance
Les jeux de données du client n'étaient pas suivis : besoin d'un outil d'observabilité qui fonctionne à la fois sur Trino et sur BigQuery.
5 piliers d’observabilité
Réalisations
- Conception d'un package dbt d'observabilité des données, réutilisable d'un projet à l'autre.
- Cinq piliers d'observabilité couverts dès la conception (freshness, distribution, volume, schema et lineage), exposés dans trois marts : summary, events et failures, avec détection d'anomalies.
- Suivi de la schema evolution : les changements de colonnes sont historisés et consultables.
- Fonctionnement multi-bases : le même package s'exécute sur Trino et sur BigQuery.
- Suivi au niveau de chaque jeu de données, y compris ceux qui n'étaient pas suivis jusque-là.
- Data quality : mise en place à venir sur ce périmètre, prévue en novembre 2026.
Stack
Repères : DataOps, data product, dbt, ELT, Medallion, ODCS, RLS
- DataOps
- Pratiques d’ingénierie (versionnement, tests, CI/CD, monitoring) appliquées aux pipelines de données.
- Data product
- Jeu de données géré comme un produit : propriétaire identifié, contrat, qualité surveillée et documentation.
- dbt
- Outil de transformation en SQL, versionné et testé, qui construit les tables d’analyse dans l’entrepôt de données.
- ELT
- Charger d’abord les données brutes, puis les transformer dans l’entrepôt, avec la puissance de calcul du cloud.
- Medallion (Bronze, Silver, Gold)
- Organisation des données en couches : brutes (Bronze), nettoyées et historisées (Silver), prêtes pour le métier (Gold).
- ODCS (Open Data Contract Standard)
- Format ouvert qui décrit un jeu de données : champs, types, sensibilité, règles de qualité.
- RLS (Row-Level Security)
- Droits d’accès par ligne : chaque utilisateur ne voit que les données qui le concernent.