SUPERWISE Sentinel zet proxy voor LLM-verkeer aan network edge
SUPERWISE heeft vorige week Sentinel gelanceerd, een enterprise AI-gateway die als proxy tussen applicaties, gebruikers en large language models draait. Sentinel inspecteert AI-verkeer in realtime en kan secrets, persoonsgegevens en ongewenste content redigeren. De gateway is inzetbaar via Docker, CLI of een containercluster. Sentinel is per direct beschikbaar.
SUPERWISE is een leverancier van software voor AI-governance en observability. Het bedrijf richt zich op het beheren, monitoren en beveiligen van AI-systemen en AI-agents in productie.
Sentinel wordt aan network edge of lokaal op een apparaat geplaatst. Applicaties en AI-agents sturen hun modelverkeer vervolgens via de gateway naar de gekozen provider. De proxy controleert iedere request voordat deze het netwerk verlaat. Volgens SUPERWISE hoeft daarvoor geen extra beveiligingscode aan afzonderlijke applicaties te worden toegevoegd.
Bij de lancering ondersteunt Sentinel onder meer OpenAI, Claude en Gemini. SUPERWISE positioneert de gateway als provideronafhankelijk en zegt ondersteuning voor meerdere modellen via dezelfde controlelaag mogelijk te maken.
Proxy en guardrails
Sentinel gebruikt guardrails om prompts te inspecteren en zo nodig te blokkeren of aan te passen. Secrets, persoonsgegevens en ongewenste content kunnen automatisch worden vervangen voordat een request naar het model gaat. De gateway legt daarnaast metadata vast over provider, model, resultaat en latency. Volgens SUPERWISE blijven ruwe prompts en responses binnen de omgeving van de klant.
Sentinel kan via Docker of de CLI worden uitgerold. Voor Mac en Linux levert SUPERWISE een Python 3.11+-CLI waarmee een gateway lokaal kan worden gestart. Organisaties kunnen de gateway ook rechtstreeks in een eigen containercluster inzetten.
Meer beheer in 1.38.0
SUPERWISE publiceerde op 22 september versie 1.38.0 van Sentinel. De update voegt admin- en read-onlyrollen toe en maakt guardrails per gateway instelbaar. Beheerders kunnen per Sentinel bepalen of een guardrail een request blokkeert of automatisch herstelt. Ook kunnen zij de volgorde van guardrails aanpassen en per categorie bepalen welke persoonsgegevens worden gecontroleerd.
Versie 1.38.0 bevat daarnaast een eerste vorm van tokenoptimalisatie. De functie comprimeert prompts voordat deze naar het model worden gestuurd, met als doel tokengebruik, latency en kosten te verlagen.
Eerdere updates voegden een FinOps-dashboard en een centrale Activity Log toe. Het dashboard toont onder meer tokengebruik, cache-hit rate, reasoning ratio en de verhouding tussen input- en outputtokens.
Bron: SUPERWISE
