Fivetran kondigt Managed Data Lake Service aan voor grote datavolumes en AI-workloads

Fivetran kondigt de algemene beschikbaarheid aan van de Fivetran Managed Data Lake Service, ontworpen om data lake management te automatiseren en vereenvoudigen voor bedrijven van elke omvang. De Fivetran Managed Data Lake Service onderscheidt zich door niet alleen data te converteren en te centraliseren in het lake, maar ook een end-to-end data lake management service te bieden die low-level data management taken volledig automatiseert.

Fivetran ondersteunt meer dan 500 vooraf gebouwde en aangepaste databronnen en integreert deze naadloos in alle belangrijke data lake-bestemmingen, terwijl krachtige change data capture-, normalisatie-, compressie- en deduplicatieprocessen worden toegepast. Fivetran's Managed Data Lake Service is momenteel beschikbaar op Amazon S3, Azure Data Lake Storage (ADLS) en Microsoft OneLake.

De Fivetran Managed Data Lake Service vereenvoudigt het beheer van het data lake door klantgegevens automatisch te converteren naar populaire open formaten (Apache Iceberg of Delta Lake) voordat ze in het data lake terechtkomen. In combinatie met het doorlopende tabelbeheer en -onderhoud van Fivetran, krijgen klanten de eenvoudige opvraagbaarheid en het gebruiksgemak van een cloud datawarehouse, met de flexibiliteit en schaalbaarheid van een data lake. Gebruikers kunnen hun data lake eenvoudig uitbouwen met query-ready gegevens die kunnen worden gelezen door datawarehouses met hun externe tabelfunctie zonder dat ze gegevensrecords hoeven te verplaatsen of dupliceren op meerdere locaties. Dit ondersteunt een aantal use cases, waaronder analytische, operationele en genAI workloads.

Native datacatalog integratie
De Fivetran Managed Data Lake Service helpt bij het transformeren van traditioneel onbeheerde data lakes in georganiseerde, beheerde, continu geoptimaliseerde data stores. Dankzij native integraties met datacatalogsFivetran zoals AWS Glue, Databricks Unity Catalog en Microsoft Purview kunnen gebruikers snel belangrijke datasets uit het meer ontdekken, openen en beheren. Van daaruit kunnen gebruikers de gegevens bevragen en wijzigen met Python, SQL of andere ondersteunde talen door gebruik te maken van compatibele engines zoals Databricks, Snowflake, Starburst of Redshift. Of ze kunnen de data transformeren met tools als dbt, visualiseren met Power BI of AI/ML-modellen bouwen en implementeren met tools als AWS Sagemaker, Azure Machine Learning of Databricks Mosaic AI.

Minder werk voor ontwikkelaars
Fivetran Managed Data Lake Service ondersteunt meer dan 500 databronnen, waaronder on-premises en cloud databases zoals Postgres, MySQL, Oracle en SAP, SaaS-applicaties, datawarehouses, events en bestanden. Fivetran kan ook aangepaste connectoren maken, waardoor ondersteuning voor elke databron gegarandeerd is zonder dat kostbare technische middelen nodig zijn voor pipelinebeheer of connectorontwikkeling. Dit brede portfolio van broncompatibiliteit stelt klanten in staat om hun data in het data lake te verenigen, ongeacht waar deze zich momenteel bevinden. Dit alles betekent minder werk voor ontwikkelaars door Fivetran het zware werk te laten doen van tabelupdates, PII-detectie, deduplicatie en andere low-level tabelonderhoutaken die geautomatiseerd kunnen worden.