Databricks lanceert Delta Live Tables

Databricks lanceert haar Delta Live Tables ETL-framework met een declaratieve benadering om betrouwbare data-pipelines op te zetten. De oplossing was sinds medio 2021 als preview beschikbaar voor selecte Databricks-klanten en is nu breed beschikbaar.

Delta Live Tables is een ETL-framework dat moderne engineering-methoden combineert met geautomatiseerd infrastructuurbeheer. Dit vereenvoudigt ETL-ontwikkeling omdat engineers eenvoudig de uitkomsten van data-transformaties kunnen beschrijven. Delta Live Tables begrijpt vervolgens de afhankelijkheden van de volledige data pipeline en automatiseert vrijwel al het complexe handwerk. Delta Live Tables laat data engineers tevens hun data als code behandelen en moderne software engineering best practices toe te passen zoals testen, foutafhandeling, monitoring en documentatie - dit alles om betrouwbare pipelines op schaal eenvoudiger te implementeren. Delta Live Tables biedt volledige ondersteuning voor zowel Python als SQL en is op maat gemaakt om zowel met streaming als batch workloads te werken.

Volgens CEO Ali Ghodsi van Databricks is Delta Live Tables zo krachtig vanwege de combinatie van software engineering met geautomatiseerd beheer van infrastructuur. “Dit is een baanbrekende technologie die data-engineers en analisten productiever maakt dan ooit. Delta Live Tables vergroot ook het bereik van Databricks, omdat het ieder type data-workload ondersteunt met een enkele API, waardoor geavanceerde data engineering-vaardigheden niet meer nodig zijn.”