Spectro Cloud wil AI-kosten verlagen met lokaal inferentieplatform
Spectro Cloud heeft PaletteAI Inference Launchpad geïntroduceerd, een platform waarmee organisaties AI-inferentie dichter bij hun data en applicaties kunnen uitvoeren. De oplossing is volgens het bedrijf bedoeld om de kosten van AI-tokens met maximaal 70 procent te verlagen en organisaties meer controle te geven over AI-workloads.
PaletteAI Inference Launchpad ondersteunt een zogenoemde local-first-aanpak. Organisaties kunnen AI-modellen lokaal uitvoeren en alleen wanneer nodig gebruikmaken van externe AI-diensten. Volgens Spectro Cloud helpt dit om kosten te beheersen, prestaties te verbeteren en te voldoen aan eisen rond governance en dataresidentie. Het platform ondersteunt zowel NVIDIA- als AMD-gebaseerde AI-infrastructuren.
AI-infrastructuur
Het platform biedt organisaties een beheerde omgeving voor AI-inferentie, zonder dat zij zelf een volledige inferentiestack hoeven te ontwikkelen en beheren. PaletteAI ondersteunt het routeren van AI-verzoeken naar lokale of externe modellen, het meten van tokengebruik en het toepassen van governance- en quotabeleid. Daarmee wil Spectro Cloud AI-infrastructuur eenvoudiger beheren in hybride en heterogene omgevingen.
Spectro Cloud heeft daarnaast de ondersteuning voor AMD uitgebreid. Het platform ondersteunt onder meer AMD GPU’s, de ROCm-runtime en de enterprise AI-referentiestack van AMD. Daardoor krijgen organisaties volgens het bedrijf meer keuze in hardware, AI-modellen en infrastructuur voor productieomgevingen.
Meer controle
De groei van AI-toepassingen leidt volgens Spectro Cloud tot een sterke toename van het tokenverbruik. Organisaties krijgen daardoor steeds vaker te maken met oplopende operationele kosten. PaletteAI Inference Launchpad moet hen helpen AI-workloads efficiënter uit te voeren en tegelijkertijd de flexibiliteit behouden om lokale modellen en externe AI-diensten te combineren.
Spectro Cloud brengt de oplossing direct beschikbaar. Het bedrijf richt zich daarbij op ondernemingen, cloudproviders en organisaties die AI-infrastructuur inzetten in gereguleerde of soevereine cloudomgevingen.
Bron: Spectro Cloud
