Red Hat maakt Gen AI breed inzetbaar met Inference Server

Red Hat kondigt AI Inference Server aan. Deze oplossing binnen Red Hat AI laat bedrijven generatieve AI sneller, goedkoper en flexibeler draaien, ongeacht het AI-model, de hardware of de cloudomgeving. De tool is gebouwd op de vLLM-communitytechnologie (virtualized Large Language Model inference) van UC Berkeley en wordt versterkt met compressie en optimalisatie via Neural Magic.

Red Hat Inference Server kan zelfstandig draaien of geïntegreerd worden in Red Hat Enterprise Linux AI (RHEL AI) en Red Hat OpenShift AI. Organisaties kunnen zo AI veel vlotter en betrouwbaarder in productie inzetten.

Inference wordt de motor van AI
Inference vergt veel rekenkracht. Als AI-oplossingen schalen, kan inference snel traag, duur en foutgevoelig worden. Daarom is een krachtige, efficiënte inference-server essentieel. Red Hat AI Inference Server pakt dat aan met een krachtige, open oplossing met ingebouwde compressie en optimalisatie, zodat inference zelfs met zware modellen en op verschillende infrastructuren snel verloopt.

vLLM als fundament
De basis van Red Hat AI Inference Server is het vLLM-project: een snelgroeiende community tool van UC Berkeley voor krachtige inference, met brede modelondersteuning en geavanceerde functies zoals multi-GPU support en grote contextverwerking.

Red Hat AI Inference Server combineert het beste van vLLM en Red Hat:
Slimme compressie: verkleint modellen zonder nauwkeurigheid te verliezen, met minder hardwaregebruik als resultaat.
Geoptimaliseerde modelkeuze: een Red Hat-modelrepository op Hugging Face met gevalideerde modellen voor directe inzet.
Red Hat-ondersteuning: enterprise support en ervaring met open source-projecten in productie.
Brede inzetbaarheid: werkt ook op andere Linux- en Kubernetes-platformen dan die van Red Hat, in lijn met het 3rd Party Support-beleid.

Red Hat wil inference democratiseren: elk model, op iedere accelerator en op welke cloud dan ook. Géén beperkingen of keuzestress, wél vrijheid en schaalbaarheid. Zoals Red Hat vroeger Linux openbrak voor het bedrijfsleven, wil het nu inference standaardiseren voor AI. Met vLLM en llm-d als hoekstenen van een open ecosysteem wil Red Hat bedrijven klaarstomen voor het AI-tijdperk – op een flexibele, schaalbare wijze en zonder onnodige kosten.

Samenwerking met Google Cloud
Tijdens Red Hat Summit kondigden Red Hat en Google Cloud een samenwerking aan om de ingebruikname van AI-agents te versnellen door middel van:
De lancering van het llm-d open source-project, met Google als medeoprichter.
Ondersteuning voor vLLM op Google Cloud TPU’s en GPU-gebaseerde virtuele machines om AI-inference te verbeteren.
Directe Day 1-ondersteuning voor vLLM binnen Gemma 3-modeldistributies.
Ondersteuning voor Red Hat AI Inference Server op Google Cloud.
Het stimuleren van vooruitstrevende ontwikkeling van AI-agents, waarbij Red Hat bijdraagt aan de community van Googles Agent2Agent (A2A)-protocol.