Projet personnel · 2026

StackRadar : veille Modern Data Stack avec digest quotidien

Secteur
IA générative et Modern Data Stack
Rôle
Data & IA engineer
Année
2026

Contexte

Pipeline serverless de veille avec analyse par LLM et digest quotidien.

Architecture

Pipeline de veille de StackRadar1. Releases et advisories (sources de la Modern Data Stack) ; 2. Cloud Scheduler → Cloud Run Job (collecte quotidienne) ; 3. mistral-small, température 0 (résumé, breaking changes, CVE, sévérité) ; 4. Validation Pydantic (sortie JSON validée) ; 5. Cloudflare R2 ; 6. Cloudflare Pages (digest quotidien)Releases et advisoriessources de la Modern Data StackCloud Scheduler → Cloud Run Jobcollecte quotidiennemistral-small, température 0résumé, breaking changes, CVE, sévéritéValidation Pydanticsortie JSON validéeCloudflare R2Cloudflare Pagesdigest quotidien
Pipeline de veille de StackRadar

Décisions

  1. ADR 1 · Collecter à la source Collecte quotidienne des releases et advisories de sécurité de 19 sources : dbt-core et adapters, Dagster, Kestra, Airflow, packages dbt, notes de version GCP et Scaleway.
  2. ADR 2 · Contraindre la sortie du LLM Analyse de chaque changelog par mistral-small (température 0) : résumé, changements clés, breaking changes, CVE, sévérité, pertinence ; sortie JSON validée par Pydantic.
  3. ADR 3 · Déployer par CI/CD Déploiement en Cloud Run Job déclenché par Cloud Scheduler, CI/CD Cloud Build, stockage Cloudflare R2, front Cloudflare Pages.

Stack

GCP Cloud RunCloud SchedulerCloud BuildMistral AIPythonDockerCloudflare R2Cloudflare PagesPydantic

Code et démo

Démo

← Tous les projets