Databricks · 29 octobre 2026 · Data & AI
Databricks : Real-Time Mode disponible pour Spark Declarative Pipelines
Databricks annonce la disponibilité générale de Real-Time Mode pour Spark Declarative Pipelines. Introduit l’année précédente, ce mode permet de développer des cas d’usage opérationnels à faible latence.
Ce qui est annoncé
Databricks annonce la disponibilité générale de Real-Time Mode dans Spark Declarative Pipelines. Cette intégration étend les pipelines aux traitements opérationnels de flux nécessitant une faible latence, notamment la détection de fraude, la personnalisation et le calcul de variables pour les modèles de machine learning. Selon l’éditeur, le traitement de bout en bout peut atteindre des latences de l’ordre de la milliseconde. Le moteur fait circuler les données en continu entre des étapes de requête exécutées simultanément, plutôt que de procéder par micro-lots.
Les traitements conservent les mécanismes de Spark Declarative Pipelines pour l’orchestration, la reprise après incident, la gestion des dépendances et le contrôle de la qualité des données. Leur activation nécessite un pipeline en mode continu et la définition d’un flux de mise à jour configuré pour Real-Time Mode. Les sorties ForEach permettent d’écrire vers des destinations personnalisées, dont Lakebase et Redis. Databricks présente également une sortie native Lakebase et le regroupement de plusieurs flux sur des ressources communes comme des évolutions à venir, distinctes de cette disponibilité générale.
Ce que ça change pour les entreprises
Pour les DSI, cette annonce ouvre la possibilité de réunir les traitements batch, ETL et les flux à faible latence dans un même cadre. Elle peut réduire le besoin de maintenir un moteur spécialisé comme Apache Flink à côté de Spark, ainsi que la dispersion du code, de la gouvernance et de l’observabilité. Cette perspective reste à apprécier selon les traitements concernés : les performances annoncées par l’éditeur ne constituent pas une garantie pour chaque environnement.
Pour les équipes IT, l’écriture directe dans un stockage opérationnel peut faciliter la mise à disposition de signaux récents aux applications et aux modèles, sans synchronisation intermédiaire entre stockage hors ligne et stockage en ligne. Les sources et destinations prises en charge, ainsi que les conditions de latence, restent à examiner avant de faire évoluer les pipelines existants.
Comment UNEETY peut vous accompagner
Une ESN comme UNEETY peut accompagner le cadrage des usages sensibles à la latence, l’évaluation de l’intégration aux pipelines et aux stockages existants, ainsi que la sécurisation des échanges. Cet accompagnement peut aussi couvrir la validation des performances et l’adoption de ces nouveaux traitements par les équipes.
Découvrez notre offre Data & AI ou contactez-nous.
Source : annonce Databricks du 29 octobre 2026.