Cloudflare Workers AI biedt implementatie snelle en compliant AI-inferenties

Het platform van Cloudflare biedt ontwikkelaars de mogelijkheid om op een snelle en betaalbare wijze volledige AI-applicaties te bouwen, zonder de daarvoor benodigde infrastructuur te hoeven beheren. Alle bedrijven, van startups tot grote ondernemingen, proberen momenteel het dienstenaanbod aan te vullen met kunstmatige intelligentie. Daarom biedt Cloudflare’s platform aan ontwikkelaars nu de capaciteit om snel een direct bruikbare toepassing te lanceren met ingebouwde beveiliging, compliance en snelheid.

Workers AI biedt ontwikkelaars een eenvoudige en betaalbare manier voor het draaien van AI-modellen op Cloudflare’s wereldwijde netwerk. Cloudflare biedt nu, mede via samenwerkingsverbanden, toegang tot GPU’s die draaien op haar gigantische wereldwijde netwerk. Dit maakt het mogelijk om AI-inferentie dicht bij gebruikers uit te voeren, zodat zij minder lang hoeven te wachten. Als dat wordt gecombineerd met de Data Localization Suite voor het controleren van de locaties waar data wordt geïnspecteerd, kan Workers AI klanten ook helpen bij het anticiperen op mogelijke compliance eisen, als overheden beleid voor het AI-gebruik gaan invoeren. Privacy staat altijd voorop bij de aanpak van Cloudflare voor het ontwikkelen van applicaties. Dit kan organisaties helpen bij het houden van hun beloftes aan klanten om te waarborgen dat data voor inferentie niet wordt gebruikt voor het trainen van LLM’s. Cloudflare ondersteunt nu een modelcatalogus waarmee ontwikkelaars snel aan de slag kunnen, voor toepassingen als LLM, spraak-naar-tekst, afbeeldingclassificatie, sentimentanalyse en meer.

Vectorize: een vectordatabase die AI-werkstromen versnelt
De nieuwe vectordatabase van Cloudflare, Vectorize, biedt ontwikkelaars mogelijkheden om complete AI-toepassingen op Cloudflare’s platform te bouwen. Vanaf het genereren van inbeddingen voor de ingebouwde modellen in Workers AI en het indexeren hiervan in Vectorize, tot queries en het opslaan van de brondata in R2. Workers AI en Vectorize zorgen ervoor dat ontwikkelaars zich niet meer bezig hoeven te houden met het aan elkaar plakken van verschillende onderdelen om AI en ML te kunnen toevoegen aan hun apps. Dit gebeurt allemaal op hetzelfde platform.

Vectorize profiteert ook van het wereldwijde netwerk van Cloudflare, zodat vectorverzoeken dichter bij gebruikers plaatsvinden, waardoor de latentie en de algehele inferentietijd lager worden. Het is ook geïntegreerd in het AI-ecosysteem in bredere zin, zodat ontwikkelaars inbeddingen aangemaakt met OpenAI en Cohere kunnen opslaan. Dit biedt teams de mogelijkheid om bestaande inbeddingen te gebruiken en nog steeds te profiteren van Vectorize voor het schalen van AI-apps naar de productie.

AI Gateway: observeerbaarheid en schaalbaarheid voor AI
Cloudflare introduceert ook nog AI Gateway, voor betrouwbaardere, observeerbare en schaalbare AI-applicaties. Ontwikkelaars moeten zich volledig kunnen focussen op hetgeen ze proberen te bouwen en niet op de infrastructuur, kosten, observeerbaarheid of schaalbaarheid die daarbij horen. Daarom biedt AI Gateway ontwikkelaars de benodigde functionaliteit voor het verkrijgen van inzichten in al het AI-verkeer, zoals het aantal aanvragen, het aantal gebruikers, de gebruikskosten van de app en tijdsduur van verzoeken.