Databricks biedt LakehouseIQ, Lakehouse AI en Unity Catalog

Databricks heeft tijdens de Data + AI Summit nieuwe features aangekondigd die organisaties in staat stellen om alle data te benutten en hun AI-mogelijkheden te vergroten. De LakehouseIQ, Lakehouse AI en nieuwe Unity Catalog-features helpen klanten meer waarde uit data te halen en hun AI-transformatie te versnellen.

Bedrijven hebben vaak nog moeite om werknemers direct toegang te geven tot relevante interne data vanwege een beperkt aantal overbelaste data scientists en onvoldoende algemene datamodellen. LakehouseIQ lost dit probleem op met een interface die leert van de unieke datasets, organisatiestructuur en het jargon van een bedrijf. Elke werknemer krijgt toegang tot interne data om geïnformeerde beslissingen te nemen en innovaties te stimuleren, zonder dat hierdoor gespecialiseerde technische vaardigheden vereist zijn. Daarbij interpreteert LakehouseIQ het doel van alle zoekopdrachten om de nodige inzichten te genereren. LakehouseIQ wordt aangedreven door Unity Catalog zodat alleen beveiligde toegang tot geautoriseerde data wordt gegeven om security- en compliancerisico’s te beperken.

Unity Catalog biedt betere vindbaarheid van versnipperde data
Data is vaak verspreid over uiteenlopende operationele en analytische systemen binnen een organisatie. Dit maakt het moeilijk voor datateams om alle beschikbare informatie te ontdekken en belemmert complianceteams in de handhaving van consistente governance. Bovendien is het kostbaar en tijdrovend om deze data samen te voegen, omdat integratieprocessen afhankelijk zijn van complexe data engineering.

Nieuwe en toekomstige functionaliteiten binnen Databricks’ Unity Catalog pakken deze problemen aan. Een nieuwe query federation interface stelt gebruikers in staat om eenvoudig alle organisatiedata vanuit één systeem te vinden, beveiligen, auditen en delen met geoptimaliseerde queryprestaties over meerdere platforms. Unity Catalog biedt bovendien consistente governance voor toegang van alle geregistreerde datasets, ook data die buiten Databricks leeft. In de toekomst kunnen gebruikers gemakkelijk een enkel toegangsbeleid voor data definiëren en dit handhaven over meerdere platforms. De onlangs aangekondigde Hive Metastore Interface maakt het tot slot mogelijk om alle software die compatibel is met Apache Hive te verbinden met Unity Catalog, om databeheer en governance over meerdere platformen verder te versimpelen.

Lakehouse AI versnelt generatieve AI-transformatie
De vraag naar generatieve AI is hoog, maar de dataprocessen zijn complex en onbetrouwbaar wanneer data- en AI-platforms gescheiden zijn. Om deze uitdaging te helpen overwinnen, introduceert Databricks Lakehouse AI. Deze oplossing verenigt data- en AI-platforms en stelt klanten in staat hun generatieve AI-oplossingen succesvoller en sneller te ontwikkelen door data, AI-modellen, LLMOps, monitoring en governance samen te brengen.

Verschillende nieuwe aangekondigde mogelijkheden ondersteunen hierin. Zo helpt Vector Search met het beheren en bewerken van vector embeddings vanuit Unity Catalog, en geeft het developers de mogelijkheid om queryfilters toe te voegen voor een betere betrouwbaarheid van generatieve AI-antwoorden. Verder stelt Databricks AUtoML klanten nu in staat om veilig LLM’s te finetunen op basis van hun eigen datasets, waardoor ze eigenaar worden van de resulterende modellen. Deze kunnen vervolgens gemakkelijk worden gedeeld, bewaakt en bestuurd via MLflow, Unity Catalog en Model Serving-integraties. Databricks Marketplace biedt tot slot een gecureerde lijst van open source-modellen met geoptimaliseerde Lakehouse AI-mogelijkheden zoals Databricks Model Serving. Dit resulteert in piekprestaties en kostenoptimalisatie voor generatieve AI use cases.

Beschikbaarheid
De LakehouseIQ-gedreven Databricks Assistant is beschikbaar in preview.
MLflow 2.5-features zijn verpakt in de juli-release van MLflow. Nieuwe Databricks-functionaliteiten, waaronder Vector Search en Lakehouse Monitoring, zijn beschikbaar in preview.
Query federation en de Hive Metastore-interface worden binnenkort beschikbaar als preview.