WEKA en Contextual AI stimuleren Enterprise AI-oplossingen in Google Cloud

AI-native dataplatformbedrijf WekaIO (WEKA) heeft aangekondigd dat het samenwerkt met Contextual AI, dat AI bouwt om een data-infrastructuur te leveren die Contextual Language Models ondersteunt. Contextual AI's CLM's worden getraind met behulp van RAG 2.0, een eigen retrieval-augmented generation (RAG) aanpak, ontwikkeld door Contextual AI, en nu aangedreven door het WEKA-dataplatform. CLM's zorgen voor veilige, nauwkeurige en betrouwbare AI-toepassingen voor Fortune 500-bedrijven op het platform van Contextual AI.

Contextual AI is opgericht in 2023 en levert een kant-en-klaar platform voor het bouwen van Enterprise AI-applicaties op basis van zijn geavanceerde RAG 2.0-technologie. In tegenstelling tot traditionele RAG-pijplijnen, die een bevroren model voor integraties, een vectordatabase voor ophalen en een black box generatiemodel aan elkaar koppelen, biedt RAG 2.0 één geïntegreerd end-to-end systeem. Dit levert hogere nauwkeurigheid, betere naleving, minder hallucinatie en de mogelijkheid om antwoorden terug te koppelen naar brondocumenten.

Generatieve AI-workloads stellen hoge eisen aan prestaties, gegevensbeheer en rekenkracht, waardoor het trainen en bedienen tijd- en middelenrovend kan zijn. Contextual AI maakt gebruik van grote, diverse datasets om zijn CLM's te trainen. Tijdens het trainen stuitte het bedrijf aanvankelijk op prestatieknelpunten en schaalproblemen die een slecht gebruik van GPU's veroorzaakten en de ontwikkeling van AI-modellen vertraagden.

Ontworpen om GPU-gebruik te maximaliseren
Het GPU-gebruik verhogen is van cruciaal belang om ervoor te zorgen dat AI-systemen en -werklasten zo efficiënt mogelijk werken. De geavanceerde AI-native architectuur van het WEKA-dataplatform is speciaal gebouwd om elke stap van de AI-pijplijn te versnellen. Dit zorgt voor wrijvingsloze datapijplijnen die GPU's verzadigen met gegevens zodat ze effectiever werken en AI-workloads sneller en duurzamer worden uitgevoerd. WEKA's software oplossing is cloud en hardware-agnostisch en ontworpen voor gebruik overal. De zero-copy, zero-tune architectuur ondersteunt dynamisch elk AI workload-profiel in een enkel dataplatform. Metadatabewerkingen worden afgehandeld in miljoenen kleine bestanden tijdens modeltraining en de schrijfprestaties tijdens model checkpoint-uitvoeringen zijn enorm.

Contextual AI heeft het WEKA-dataplatform ingezet op Google Cloud om een hoogpresterende data-infrastructuurlaag te creëren die al zijn datasets beheert voor AI-modeltraining, in totaal 100 TB. Het WEKA-platform leverde een significante sprong in dataprestaties die direct correleerde met een verhoogde productiviteit van ontwikkelaars en het versnellen van modeltrainingstijden.

Naast de snelle verplaatsing van gegevens van de opslag naar de versneller, voorzag het WEKA-platform Contextual AI van naadloze metadata verwerking, checkpointing en datapreprocessing-mogelijkheden. Dit elimineerde knelpunten in de prestaties van trainingsprocessen, verbeterde het GPU-gebruik en heeft geholpen bij het verlagen van de cloud-kosten.

De belangrijkste resultaten die met het WEKA-dataplatform zijn bereikt:
Drie keer betere prestaties voor belangrijke AI-gebruikscases dankzij een aanzienlijke toename in GPU-gebruik.
Geen vertragingen meer in het voltooien van modelcheckpoints, waardoor checkpointingprocessen vier keer beter zijn geworden, en de productiviteit van ontwikkelaars drastisch is gestegen.
De bijbehorende kosten voor cloudopslag daalden met 38 procent per terabyte.