Dell voegt Warp Speed toe in Dell Data Lakehouse

Dell Technologies introduceert Warp Speed in het Dell Data Lakehouse. In maart 2024 werd Dell Data Lakehouse geïntroduceerd, een oplossing met een krachtige query engine aangedreven door Starburst. Deze engine biedt snelle toegang tot gedistribueerde data, ongeacht de gegevensbron. De nieuwe feature leert autonoom querypatronen en identificeert data die vaak wordt gebruikt om optimale indexen en caches te creëren, terwijl data die minder vaak wordt gebruikt op de oorspronkelijke locatie blijft.

Het data lakehouse biedt prestatievoordelen tegen lagere kosten, maar data engineering- en IT-teams vinden het lastig om te bepalen welke data ze moeten optimaliseren en cachen en welke ze ongewijzigd in het data lake moeten laten. Warp Speed stelt organisaties in staat om sneller en efficiënter dan ooit inzichten uit hun data te halen. Met Warp Speed kan hetzelfde cluster data lake query’s drie tot vijf keer sneller uitvoeren zonder dat de eindgebruiker de query hoeft aan te passen. Bovendien helpt het om clusters tot 40 procent kleiner te maken. Eenvoudig gezegd kunnen organisaties meer query’s uitvoeren op grote clusters of hetzelfde volume query’s uitvoeren op kleinere clusters.
• Data lakes versnellen: autonoom het data lake indexeren en on-demand verkennende datasets versnellen zonder tussenkomst van data engineering.
• Krachtige dashboards bouwen: sneller drill-downs uitvoeren op TB’s tot PB’s aan data, zonder enige verandering aan de eindgebruikerservaring. Dezelfde query’s worden nu sneller uitgevoerd.

Warp Speed maakt gebruik van een combinatie van twee versnellingstechnologieën om queryprestaties te verbeteren en de kosten te beheersen. Ten eerste maakt autonome indexering de juiste index types (bitmap, woordenboek, tree) voor elk datablok, waardoor bewerkingen zoals joins, filters en zoekopdrachten worden versneld. Deze indexen worden opgeslagen op een SSD in de compute nodes voor snelle toegang. Ten tweede gebruikt het Smart Caching, een eigen SSD columnar block caching die de prestaties optimaliseert op basis van de frequentie van het gegevensgebruik. Dankzij deze caching is het niet langer nodig om tabellen te scannen, wat zorgt voor meer hergebruik van data tussen query's en daarmee lagere compute kosten.

Warp Speed is vanaf 17 juli beschikbaar voor Dell Data Lakehouse-klanten en wordt ondersteund voor gebruikers die Dell S3-compatibele storage gebruiken als hun data lake.