Ordonnancement & orchestration
Nous distinguons deux paradigmes complémentaires. Les ordonnanceurs d'entreprise (Control-M, Visual-TOM, Beta Systems ANow!) excellent sur les plans de charge complexes, les calendriers métiers, les dépendances inter-applicatives et le pilotage par SLA, avec une supervision centralisée et des alertes sur retard ou échec. Les orchestrateurs orientés DAG (Airflow) conviennent aux pipelines data dynamiques, paramétrés et versionnés en code. Le bon choix dépend de la nature des flux, pas d'une préférence, et les deux cohabitent souvent.
La robustesse repose sur des principes non négociables : idempotence (un job rejoué ne corrompt pas l'aval), points de reprise et redémarrage à chaud, gestion explicite des dépendances et des fenêtres, et observabilité des flux (un flux en retard doit alerter avant l'incident métier). Nous traitons l'ordonnancement comme du code : versionné, testé, promu d'environnement en environnement.
/// stack
- BMC Control-M / Absyss Visual-TOM / Dollar Universe / Beta Systems ANow!
- Apache Airflow
/// ce que nous mesurons
- respect des SLA de jobs
- taux d'échec et de relance
- délai total des chaînes
/// anti-patterns éliminés
- jobs non idempotents
- dépendances implicites non documentées
- et l'ordonnancement géré à la main hors de tout référentiel
