AWS beheert Snowflake-data via SageMaker zonder verplaatsing
AWS heeft vorige week uitgelegd hoe organisaties Snowflake-data vanuit Amazon SageMaker Unified Studio kunnen catalogiseren, controleren en beschikbaar maken zonder de data naar AWS te kopiëren. Een federatieve koppeling via AWS Glue maakt Snowflake-tabellen zichtbaar in SageMaker Catalog en ondersteunt controles op datakwaliteit.
De aanpak is bedoeld voor organisaties die data in Snowflake bewaren, terwijl analytics- en machine-learningworkloads op AWS draaien. Volgens AWS kunnen in zulke hybride omgevingen afzonderlijke catalogi en governanceprocessen ontstaan.
SageMaker Unified Studio gebruikt een AWS Glue-verbinding om tabellen en views uit Snowflake federatief beschikbaar te maken. De catalogusregistratie komt terecht in AWS Glue Data Catalog en AWS Lake Formation verzorgt het centrale toegangsbeheer.
De data zelf blijft daarbij in Snowflake. Wanneer een gebruiker vanuit SageMaker Unified Studio een query uitvoert, gebruikt Amazon Athena de tabeldefinitie uit de Glue Data Catalog en stuurt de query naar Snowflake. Alleen de resultaten gaan terug naar de query-editor.
Federatieve catalogus
Snowflake-datasets kunnen vervolgens als beheerde data-assets worden gepubliceerd in Amazon SageMaker Catalog. Andere teams kunnen deze assets daar vinden, zich erop abonneren en ze gebruiken voor analytics- of machine-learningworkloads.
Bij het catalogiseren kan SageMaker ook aanvullende metadata genereren, zoals beschrijvingen van datasets en kolommen en suggesties voor termen uit een business glossary.
AWS stelt dat het opzetten, catalogiseren en controleren van de kwaliteit van federatieve Snowflake-data via deze werkwijze binnen vijf tot vijftien minuten mogelijk is. Daarvoor is volgens het bedrijf geen datareplicatie of zelfgeschreven ETL-code nodig.
Datakwaliteit controleren
AWS Glue Data Quality kan daarnaast regels uitvoeren op de federatief ontsloten Snowflake-data. Deze controles kunnen bijvoorbeeld vaststellen of waarden voldoen aan vooraf bepaalde kwaliteitsregels.
De resultaten worden gekoppeld aan het betreffende data-asset in SageMaker Catalog. Gebruikers kunnen daardoor vóór gebruik zien welke kwaliteitsmetingen voor een dataset beschikbaar zijn.
Voor deze controles gebruikt AWS Glue Visual ETL. Een job leest de Snowflake-data, voert de ingestelde kwaliteitsregels uit en publiceert de uitkomsten vervolgens in SageMaker Catalog. De data hoeft ook voor deze stap niet permanent naar een andere opslagomgeving te worden gerepliceerd.
AWS positioneert de werkwijze als een manier om data die verspreid staat over Snowflake en AWS vanuit één catalogus vindbaar en beheersbaar te maken.
Bron: AWS
