Precisely gebruikt Amazon S3 Vectors voor AI-agents
Precisely gaat Amazon S3 Vectors gebruiken voor een nieuwe conversational interface met AI-agents binnen de Data Integrity Suite. Het bedrijf schrijft in zijn newsroom dat gebruikers zo in gewone taal kunnen zoeken naar data-assets en aanbevelingen kunnen krijgen. Precisely gebruikt een afzonderlijke vectorindex per klant. IntoDQ² gebruikt de Precisely Data Integrity Suite binnen zijn Data Excellence-propositie.
Precisely voegt een nieuwe conversational interface toe aan zijn Data Integrity Suite naast de bestaande gebruikersinterface van het platform. Een AI-agent van Precisely interpreteert vragen van gebruikers en vertaalt die naar zoekopdrachten en metadatafilters.
Voor de technische uitvoering gebruikt Precisely diverse diensten van AWS. Voor de similarity search gebruikt Precisely Amazon S3 Vectors. Catalogusassets worden omgezet in embeddings met Amazon Titan Text Embeddings V2 via Amazon Bedrock. Deze embeddings worden vervolgens opgeslagen in een vectorindex.
Beeld: Query and Recommendation Paths binnen de Precisely Data Integrity Suite
Precisely kiest daarbij voor één afzonderlijke index per tenant. Volgens AWS voorkomt dit dat data van meerdere klanten tijdens zoekopdrachten in hetzelfde querypad terechtkomt. S3 Vectors ondersteunt maximaal 10.000 indexen per vector bucket en maximaal twee miljard vectoren per index.
Zoeken via AI-agent
Wanneer een gebruiker een vraag stelt, analyseert een large language model de zoekopdracht. Het model bepaalt welke stappen nodig zijn en genereert indien nodig een zoekterm en metadatafilters voor de vector search.
De Similarity Search Tool wordt via Model Context Protocol aangeroepen. Vervolgens maakt Amazon Bedrock een vector van de zoekterm en zoekt S3 Vectors naar vergelijkbare catalogusassets binnen de index van de betreffende klant.
Precisely gebruikt daarbij metadatafilters om rekening te houden met toegangsrechten. Daardoor worden alleen assets teruggegeven waarvoor de gebruiker toestemming heeft. De zoekresultaten worden daarna door de conversational search agent gecombineerd met de overige stappen die nodig zijn om de vraag te beantwoorden.
Binnen de Data Excellence-propositie van IntoDQ² vormt de Precisely Data Integrity Suite de technologie voor onder meer data cataloging, governance, lineage en datakwaliteit. IntoDQ² beschrijft de suite als een van zijn kerntechnologieën voor het betrouwbaar en bruikbaar maken van data.
Aanbevelingen uit context
De architectuur wordt niet alleen gebruikt voor zoekopdrachten. De AI-agent kan tijdens een gesprek ook relevante acties voorstellen, bijvoorbeeld het zoeken naar passende regels voor datakwaliteit of het aanvullen van metadata.
Daarvoor combineert Precisely vector search met andere informatie uit de catalogus, zoals relaties tussen assets en kwaliteitsscores. Meerdere zoekopdrachten kunnen daarbij parallel worden uitgevoerd om zowel directe als gerelateerde aanbevelingen te vinden.
Precisely gebruikt Amazon Managed Streaming for Apache Kafka om veranderingen in de catalogus door te geven aan de verwerking die de vectorindex actueel houdt. Gewijzigde assets worden opnieuw omgezet in embeddings en in de bestaande index bijgewerkt.
AWS meldt dat Precisely in tests met een index van 50 miljoen vectoren gemiddeld querytijden van enkele honderden milliseconden behaalde voor de S3 Vectors-query zelf. Die metingen zijn exclusief de tijd die nodig is om embeddings te genereren.
Bron: Precisely
