Microsoft verenigt Data Management, Analytics en ML in Fabric

Microsoft heeft Microsoft Fabric onthuld, een aanbod dat haar suite van tools voor data management, analytics en machine learning in een enkele oplossing verenigt. De oplossing is gebouwd op OneLake, een nieuw data lake dat momenteel in preview fase is.

Microsoft Fabric is een "end-to-end, unified analytics platform dat alle data en analytics tools samenbrengt die organisaties nodig hebben", schrijft Microsoft corporate VP van Azure Data Arun Ulagaratchagan in een blog post. Dat omvat alles van data governance en ETL pipelines tot traditionele SQL analytische en machine learning workloads. Ook PowerBI speelt een rol, en er is een streaming analytics component, evenals ChatGPT-achtige Copilot voor het maken van rapporten.

Fabric is gebaseerd op OneLake, het lakehouse dat Microsoft aankondigde op haar Build conferentie. Alle data waartoe gebruikers van Microsoft Fabric toegang hebben, komt uit OneLake, dat mogelijkheden biedt voor uniforme data governance, discovery, sharing, lineage en compliance. Gegevens worden in OneLake opgeslagen met behulp van Parquet en Delta, wat het Databricks open tabelformaat is (in tegenstelling tot andere formaten, zoals Apache Iceberg of Apache Hudi).

Zeven componenten
Bovenop OneLake liggen zeven componenten voor specifieke functionaliteit:
• Data Factory (in preview), dat 150+ connectoren biedt naar cloud en on-premise databronnen, drag-and-drop ervaringen voor datatransformatie, en de mogelijkheid om data pipelines te orkestreren;
• Synapse Data Engineering (in preview), dat auteurservaringen voor Spark, directe start met live pools en de mogelijkheid tot samenwerking biedt;
• Synapse Data Science (in preview), dat een end-to-end workflow biedt voor data scientists om geavanceerde AI-modellen te bouwen, eenvoudig samen te werken en machine learning-modellen te trainen, in te zetten en te beheren;
• Synapse Data Warehousing (in preview), dat een geconvergeerde lakehouse- en datawarehouse-ervaring biedt op open dataformaten;
• Synapse Real-Time Analytics (in preview), waarmee ontwikkelaars kunnen werken met gegevens die binnenkomen van het Internet of Things (IoT), telemetrie, logboeken en meer, en volumes semi-gestructureerde gegevens kunnen analyseren;
• Power BI in Fabric, dat datavisualisatie en AI-gestuurde analyses biedt. Data Activator (verschijnt binnenkort) biedt realtime detectie en monitoring van gegevens en kan meldingen en acties activeren wanneer het bepaalde patronen in gegevens vindt - en dat alles zonder code.

Microsoft heeft een nauwe samenwerking met OpenAI, volgens Ulagaratchagan zal Fabric ook OpenAI gebruiken om Copilot aan te drijven voor generatieve AI-mogelijkheden. "We infuseren Fabric met Azure OpenAI Service op elke laag om klanten te helpen het volledige potentieel van hun data te ontsluiten, zodat ontwikkelaars de kracht van generatieve AI kunnen inzetten tegen hun data en zakelijke gebruikers kunnen helpen inzichten te vinden in hun data. Met Copilot in Microsoft Fabric in elke data-ervaring kunnen gebruikers conversatietaal gebruiken om dataflows en datapijplijnen te creëren, code en volledige functies te genereren, modellen voor machine learning te bouwen of resultaten te visualiseren. Klanten kunnen zelfs hun eigen conversatietaal ervaringen creëren die Azure OpenAI Service modellen en hun data combineren en publiceren als plug-ins."

Microsoft Fabric is momenteel in preview, maar het heeft al verschillende klanten die vroege versies van Fabric hebben gebruikt, waaronder Ferguson, T-Mobile en Aon.