The Linux Foundation introduceert Delta Lake 3.0

The Linux Foundation heeft de algemene beschikbaarheid aangekondigd van de Delta Lake 3.0 release van het open-source Delta Lake project. Deze versie van Delta Lake, ontwikkeld onder de vlag van The Linux Foundation, verenigt lakehouse opslagformaten en geeft gebruikers flexibiliteit en controle over hun gegevens.

Gebruikers kunnen nu gebruik maken van Delta Lake 3.0 om hun datamanagementprocessen te stroomlijnen, prestaties te optimaliseren en flexibiliteit te vergroten. De belangrijkste kenmerken van Delta Lake 3.0 zijn:

Delta Universeel Formaat (UniForm): Bedrijven hebben lang geworsteld met de beslissing welk opslagformaat te standaardiseren in hun streven naar het creëren van een naadloos data lakehouse. UniForm is een innovatieve functie die het lezen van gegevens vergemakkelijkt in het formaat dat wordt vereist door de applicatie, wat zorgt voor een verhoogde compatibiliteit en een breder ecosysteem. Met UniForm zijn de uitdagingen van het kiezen tussen Apache Iceberg of Apache Hudi verdwenen. Delta genereert nu moeiteloos de essentiële metadata voor beide, waardoor handmatige conversies niet meer nodig zijn en een ongeëvenaarde laag van flexibiliteit en efficiëntie wordt geboden.
Delta kernel: Het uitgebreide connectorlandschap voor Delta stelt ontwikkelaars vaak voor uitdagingen. Delta Kernel is gericht op het stroomlijnen van het proces van het bouwen van Delta-connectoren en biedt een vereenvoudigde API, zodat ontwikkelaars gebruik kunnen maken van het volledige aanbod van Delta zonder verstrikt te raken in de onderliggende complexiteit. Door de ingewikkelde details van de Delta-protocolspecificatie te verbergen, kunnen ontwikkelaars zich concentreren op het benutten van het potentieel van Delta.
Snellere MERGE en updates: Met Delta 3.0 maakt MERGE nu beter gebruik van data skipping, de mogelijkheid om het insert-only codepad in meer gevallen te gebruiken en een algehele verbeterde uitvoering om tot twee keer betere prestaties te bereiken in verschillende scenario's. DELETE-bewerkingen zijn nu meer dan twee keer sneller. Snellere DELETE-bewerkingen leiden tot kortere wachttijden bij het wissen of bijwerken van gegevens, waardoor gegevens flexibeler kunnen worden beheerd en verwerkt.

Bekijk hier de gedetailleerde release notes.
Blog voor meer informatie over Delta Lake 3.0.