Databricks · 5 novembre 2026 · Data & AI
Apache Spark® 4.3 est disponible dans Databricks Runtime 19
Apache Spark® 4.3 est désormais disponible dans Databricks Runtime 19. Cette version apporte le traitement avec état à Real-Time Mode.
Ce qui est annoncé
Apache Spark 4.3 est disponible dans Databricks Runtime 19. Cette version étend notamment les possibilités de développement et de gestion des données : Auto CDC prend en charge SCD Type 2 pour conserver les versions successives des enregistrements, avec un accès depuis Python, SQL et Spark Connect. Project Feather propose des optimisations optionnelles visant à limiter le surcoût d’exécution de certaines requêtes sur de petits volumes, ainsi qu’un cache au format Arrow. Spark Connect enrichit aussi l’observation des sessions et des opérations, tandis que son pilote JDBC élargit les types de résultats pris en charge.
Le traitement de flux constitue une autre évolution centrale : Real-Time Mode accepte désormais les agrégations, la déduplication et les traitements personnalisés avec état via transformWithState en Scala et Java. Ces opérations conservent le modèle de programmation de Structured Streaming et ses mécanismes de sauvegarde et de reprise. Les trois tests présentés dans l’annonce affichent une latence de bout en bout au percentile P99 inférieure à 150 millisecondes. Ces mesures concernent uniquement les charges testées. Par ailleurs, Spark 4.3 inaugure un rythme trimestriel de publication des versions fonctionnelles.
Ce que ça change pour les entreprises
Pour les DSI, ces évolutions peuvent ouvrir une piste de rationalisation entre traitements par lots et applications de streaming : sur les charges compatibles, un moteur distinct dédié à la faible latence pourrait ne plus être nécessaire. Cette possibilité reste à évaluer sur les flux réels. L’exécution simultanée des étapes exige notamment suffisamment de ressources pour toutes les tâches du groupe ; à défaut, le lancement échoue.
L’historisation avec Auto CDC peut réduire la logique spécifique nécessaire aux analyses historiques et aux audits. Elle suppose toutefois une table cible dont le connecteur prend en charge les opérations ligne par ligne de Data Source V2 : les formats de fichiers intégrés comme Parquet ne suffisent pas. Les équipes devront également vérifier l’éligibilité des requêtes aux optimisations de Project Feather, qui ne sont pas activées par défaut.
Comment UNEETY peut vous accompagner
Une ESN comme UNEETY peut accompagner le cadrage des usages, l’évaluation des prérequis et les essais sur des charges représentatives, puis aider à préparer l’intégration, la sécurisation et l’adoption par les équipes IT.
Découvrez notre offre Data & AI ou contactez-nous.
Source : annonce Databricks du 5 novembre 2026.