Cloudera en NVIDIA breiden generatieve AI uit met microservices

Cloudera gaat NVIDIA AI Enterprise met NVIDIA NIM-microservices inzetten om het potentieel van 25 exabytes aan bedrijfsinformatie te ontsluiten dat is beveiligd in Cloudera Data Platform. Cloudera Powered by NVIDIA gaat de NVIDIA NIM microservices integreren, die deel uitmaken van NVIDIA AI Enterprise, in Cloudera Machine Learning. Dat is een Cloudera Data Platform-service voor AI/ML-workflows, om snelle, veilige generatieve AI-workflows voor bedrijfsprocessen te leveren.

Bedrijfsinformatie en een platform dat is geoptimaliseerd voor grote taalmodellen (LLM), spelen een cruciale rol bij het toepassen van generatieve AI in organisaties. Met de microservices NVIDIA NIM en NeMo Retriever kunnen ontwikkelaars AI-modellen snel en veilig koppelen aan de bedrijfsinformatie. Inclusief tekst, afbeeldingen en visualisaties, zoals cirkel-, lijn- en staafdiagrammen, om nauwkeurige, contextueel relevante antwoorden te genereren.

Ontwikkelaars die deze microservices gebruiken, kunnen applicaties implementeren via NVIDIA AI Enterprise, dat geoptimaliseerde runtimes biedt voor het bouwen, aanpassen en implementeren van LLM's op bedrijfsniveau. Met behulp van NVIDIA-microservices stelt Cloudera Machine Learning klanten in staat om de waarde van hun door Cloudera beheerde bedrijfsinformatie te benutten door hoogwaardige AI-workflows, AI-platformsoftware en extra verwerkingscapaciteit naar de informatie te brengen, waar deze zich ook bevindt.

Meerdere integraties
Cloudera gaat meerdere integraties bieden met NVIDIA-microservices. Cloudera Machine Learning zal model- en applicatieservices integreren om de prestaties van modelinferentie voor alle workloads te verbeteren. Met deze nieuwe functies voor AI-modelserving kunnen klanten fouttolerantie, lage latentie en automatische schaling realiseren voor modellen die overal worden ingezet, zowel vanuit de publieke als private cloud. Verder gaat Cloudera Machine Learning geïntegreerde NVIDIA NeMo Retriever-microservices aanbieden om de verbinding van aangepaste LLM's met bedrijfsinformatie te vereenvoudigen. Deze mogelijkheid stelt gebruikers in staat om op ‘retrieval-augmented generatie’ (RAG) gebaseerde applicaties te bouwen en toe te passen.

Cloudera werkte al eerder samen met NVIDIA om GPU-geoptimaliseerde dataverwerking te benutten door de integratie van de NVIDIA RAPIDS Accelerator voor Apache Spark in Cloudera’s Data Platform. Met de geplande toevoeging van NVIDIA-microservices en integratie met NVIDIA AI Enterprise, gaat het Cloudera Data Platform op een unieke wijze gestroomlijnde end-to-end hybride AI-pijplijnen leveren.

In de toekomst krijgen bedrijven in verschillende markten de mogelijkheid om sneller en intuïtiever LLM’s te bouwen, aan te passen en in te zetten die de transformatieve generatieve AI ondersteunen. Dit omvat toepassingen zoals het coderen van co-pilots om de ontwikkeltijd te versnellen, chatbots voor het automatiseren van klantinteracties, apps voor het samenvatten van teksten voor het snel verwerken van documenten, gestroomlijnd en contextueel zoeken, en nog meer. Deze innovaties maximaliseren de toegevoegde waarde door data en AI voor de gehele organisatie eenvoudiger en sneller te maken, waardoor de omzet wordt verhoogd en de kosten worden geoptimaliseerd.

"Cloudera integreert NVIDIA NIM- en CUDA-X-microservices om Cloudera Machine Learning aan te drijven en klanten te helpen de AI-hype om te zetten naar een zakelijke realiteit”, zegt Priyank Patel, Vice President van AI/ML Products bij Cloudera. “Behalve het leveren van krachtige generatieve AI-mogelijkheden en -prestaties aan klanten, zullen de resultaten van deze integratie bedrijven in staat stellen nauwkeurigere en tijdige beslissingen te nemen en tegelijkertijd onnauwkeurigheden, hallucinaties en fouten in voorspellingen te reduceren. Dat zijn kritische succesfactoren voor het navigeren door het huidige datalandschap."