Databricks heeft tijdens de Data + AI Summit nieuwe features aangekondigd die organisaties in staat stellen om alle data te benutten en hun AI-mogelijkheden te vergroten. De LakehouseIQ, Lakehouse AI en nieuwe Unity Catalog-features helpen klanten meer waarde uit data te halen en hun AI-transformatie te versnellen.
Bedrijven hebben vaak nog moeite om werknemers direct toegang te geven tot relevante interne data vanwege een beperkt aantal overbelaste data scientists en onvoldoende algemene datamodellen. LakehouseIQ lost dit probleem op met een interface die leert van de unieke datasets, organisatiestructuur en het jargon van een bedrijf. Elke werknemer krijgt toegang tot interne data om geïnformeerde beslissingen te nemen en innovaties te stimuleren, zonder dat hierdoor gespecialiseerde technische vaardigheden vereist zijn. Daarbij interpreteert LakehouseIQ het doel van alle zoekopdrachten om de nodige inzichten te genereren. LakehouseIQ wordt aangedreven door Unity Catalog zodat alleen beveiligde toegang tot geautoriseerde data wordt gegeven om security- en compliancerisico’s te beperken.
Unity Catalog biedt betere vindbaarheid van versnipperde data
Data is vaak verspreid over uiteenlopende operationele en analytische systemen binnen een organisatie. Dit maakt het moeilijk voor datateams om alle beschikbare informatie te ontdekken en belemmert complianceteams in de handhaving van consistente governance. Bovendien is het kostbaar en tijdrovend om deze data samen te voegen, omdat integratieprocessen afhankelijk zijn van complexe data engineering.
Nieuwe en toekomstige functionaliteiten binnen Databricks’ Unity Catalog pakken deze problemen aan. Een nieuwe query federation interface stelt gebruikers in staat om eenvoudig alle organisatiedata vanuit één systeem te vinden, beveiligen, auditen en delen met geoptimaliseerde queryprestaties over meerdere platforms. Unity Catalog biedt bovendien consistente governance voor toegang van alle geregistreerde datasets, ook data die buiten Databricks leeft. In de toekomst kunnen gebruikers gemakkelijk een enkel toegangsbeleid voor data definiëren en dit handhaven over meerdere platforms. De onlangs aangekondigde Hive Metastore Interface maakt het tot slot mogelijk om alle software die compatibel is met Apache Hive te verbinden met Unity Catalog, om databeheer en governance over meerdere platformen verder te versimpelen.
Lakehouse AI versnelt generatieve AI-transformatie
De vraag naar generatieve AI is hoog, maar de dataprocessen zijn complex en onbetrouwbaar wanneer data- en AI-platforms gescheiden zijn. Om deze uitdaging te helpen overwinnen, introduceert Databricks Lakehouse AI. Deze oplossing verenigt data- en AI-platforms en stelt klanten in staat hun generatieve AI-oplossingen succesvoller en sneller te ontwikkelen door data, AI-modellen, LLMOps, monitoring en governance samen te brengen.
Verschillende nieuwe aangekondigde mogelijkheden ondersteunen hierin. Zo helpt Vector Search met het beheren en bewerken van vector embeddings vanuit Unity Catalog, en geeft het developers de mogelijkheid om queryfilters toe te voegen voor een betere betrouwbaarheid van generatieve AI-antwoorden. Verder stelt Databricks AUtoML klanten nu in staat om veilig LLM’s te finetunen op basis van hun eigen datasets, waardoor ze eigenaar worden van de resulterende modellen. Deze kunnen vervolgens gemakkelijk worden gedeeld, bewaakt en bestuurd via MLflow, Unity Catalog en Model Serving-integraties. Databricks Marketplace biedt tot slot een gecureerde lijst van open source-modellen met geoptimaliseerde Lakehouse AI-mogelijkheden zoals Databricks Model Serving. Dit resulteert in piekprestaties en kostenoptimalisatie voor generatieve AI use cases.
Beschikbaarheid
De LakehouseIQ-gedreven Databricks Assistant is beschikbaar in preview.
MLflow 2.5-features zijn verpakt in de juli-release van MLflow. Nieuwe Databricks-functionaliteiten, waaronder Vector Search en Lakehouse Monitoring, zijn beschikbaar in preview.
Query federation en de Hive Metastore-interface worden binnenkort beschikbaar als preview.
28 maart 2024 (halve dag)Praktische workshop met Alec Sharp [Halve dag] Deze workshop door Alec Sharp introduceert conceptmodellering vanuit een non-technisch perspectief. Alec geeft tips en richtlijnen voor de analist, en verkent datamodellering op ...
28 maart 2023 Dit seminar behandelt de strategische implementatie van Knowledge Graph-initiatieven binnen organisaties en biedt een uitgebreid raamwerk waarin geavanceerde technieken worden gecombineerd met praktijkcases. Het voorziet deelneme...
9 april 2024Workshop met BPM-specialist Christian Gijsels over business analyse, modelleren en simuleren met de nieuwste release van Sparx Systems' Enterprise Architect, versie 16.Intensieve cursus waarin de belangrijkste basisfunctionaliteiten van E...
16 april 2024 Praktisch en interactief seminar met Nigel Turner Data-gedreven worden lukt niet door alleen nieuwe technologie en tools aan te schaffen. Het vereist een transformatie van bestaande business modellen, met cultuurverandering, een herontw...
29 - 31 mei 2024Praktische driedaagse workshop met internationaal gerenommeerde spreker Alec Sharp over herkennen, beschrijven en ontwerpen van business processen. De workshop wordt ondersteund met praktijkvoorbeelden en duidelijke, herbruikbare rich...
10 t/m 12 juni 2024 Praktische workshop Data Management Fundamentals door Chris Bradley - CDMP-examinatie optioneel De DAMA DMBoK2 beschrijft 11 disciplines van Data Management, waarbij Data Governance centraal staat. De Certified Data Managem...
Deel dit bericht