Microsoft breidt Azure Data Services uit

Director of Product Management Jurgen Willis van Azure Engineering heeft in een blog de beschikbaarheid aangekondigd van Azure Data Lake Storage Gen2 en Azure Data Explorer. Ook is een preview aangekondigd van Azure Data Factory Mapping Data Flow.

Azure Data Lake Storage (ADLS) combineert volgens Microsoft de schaalbaarheid, kosteneffectiviteit, beveiliging en rijke mogelijkheden van Azure Blob Storage met een voor analyse gebouwd bestandssysteem en compatibel met Hadoop Distributed File System. Een belangrijke prioriteit was om ervoor te zorgen dat ADLS compatibel is met het Apache-ecosysteem. Microsoft heeft daarvoor een Azure Blob File System driver ontwikkeld. Deze ABFS-driver is onderdeel van Apache Hadoop en Spark en is opgenomen in veel commerciële distributies. ADLS biedt dezelfde databeveiligingsmogelijkheden die zijn ingebouwd in Azure Blob Storage.

Azure Data Explorer
Azure Data Explorer (ADX) is een volledig beheerde gegevensanalyse-service voor realtime analyse van grote hoeveelheden streamingdata. Met ADX zou het mogelijk moeten zijn om 1 miljard records in minder dan een seconde te doorzoeken zonder de vereiste data of metadata aan te passen. ADX bevat volgen Microsoft ook native connectors voor Azure Data Lake Storage, Azure SQL Data Warehouse en Power BI. Het wordt geleverd met een intuïtieve querytaal, zodat klanten binnen enkele minuten inzichten kunnen krijgen.

ADX is ontworpen met twee verschillende samenwerkende services die samenwerken: de Engine en Data Management (DM) service. Beide diensten worden geïmplementeerd als node clusters  (virtual machines) in Azure. De Data Management-service neemt verschillende soorten onbewerkte data in en maakt gebruik van van automatische indexering en compressie. De Engine-service verwerkt de binnenkomende onbewerkte gegevens en ondersteunt gebruikersquery's. ADX is beschikbaar in 41 Azure-regio’s.

Azure Data Factory Mapping Data Flow
Azure Data Factory (ADF) is een hybride cloudgebaseerde data-integratiedienst voor het orkestreren en automatiseren van datatransport en -transformatie. ADF biedt meer dan 80 ingebouwde connectors voor gestructureerde, semi-gestructureerde en ongestructureerde databronnen. Met Mapping Data Flow in ADF kunnen gebruikers hun datatransformatieproces visueel ontwerpen, bouwen en beheren. Mapping Data Flow combineert een rijke uitdrukkingstaal met een interactieve debugger om ETL-taken en data-integratieprocessen eenvoudig uit te voeren en te bewaken. Azure Data Factory is beschikbaar in 21 regio’s.

Meer informatie