GoDataDriven en Soda gaan samenwerken aan datakwaliteit

Soda, leverancier van tools voor databetrouwbaarheid en een observabilityplatform, heeft een samenwerking aangekondigd met GoDataDriven, de data- & AI-consultancy binnen Xebia, om kritieke problemen met de betrouwbaarheid en kwaliteit van gegevens waarmee organisaties worden geconfronteerd op te lossen.

Het partnerschap omvat het samen ontwikkelen van een nieuwe Open Source Software (OSS) Spark-bibliotheek die organisaties ondersteunt met een big data-vriendelijke oplossing voor het handhaven van de datakwaliteit en een overeenkomst om workflows voor optimale datakwaliteit te bouwen voor gezamenlijke klanten.

In samenwerking met GoDataDriven heeft Soda Soda Spark uitgebracht, de nieuwste OSS-release om een gemeenschappelijke oplossing te bieden voor een veelvoorkomend probleem voor data-engineers. Soda Spark maakt deel uit van een groeiend pakket OSS-tools voor databetrouwbaarheid voor technici die werken in data-intensieve omgevingen waar datakwaliteit van het grootste belang is. Met behulp van de Soda Spark-bibliotheek kunnen data-engineers fouten van mislukte tests loggen met behulp van hun gewenste logsysteem of via Soda Cloud en zo voorkomen dat zij corrupte gegevens naar hun datameren schrijven. En omdat Spark DataFrames onafhankelijk van gegevensbronnen zijn, kunnen Soda Spark-scans worden uitgevoerd op verschillende gegevensbronnen, waaronder Amazon Athena, Amazon Redshift, Google Big Query en Snowflake.

“Transparantie creëert vertrouwen in data dat de katalysator wordt voor een organisatie om echt data-enabled te zijn en zelfverzekerde, datagestuurde beslissingen te nemen”, legt Niels Zeilemaker, CTO, GoDataDriven uit. “In Soda herkenden wij een gedeelde overtuiging in het verbeteren van end-to-end workflows voor gegevensproblemen, zodat datateams de mogelijkheid hebben om prioriteiten te stellen en problemen op te lossen op basis van een holistische kijk op wat er in een hele organisatie gebeurt. Lage technische barrières en de levendige ontwikkelaarsgemeenschap van Soda zorgen voor het ideale platform om aan de behoeften van onze klanten te voldoen, te beginnen met de gezamenlijke ontwikkeling van een Spark-integratie die de workflow voor datakwaliteit verder uitbreidt.”

Door de enorme hoeveelheid dagelijks geproduceerde data, is het vermogen van Spark om ongelijksoortige mogelijkheden voor gegevensverwerking te verenigen, zodat ontwikkelaars één enkel framework kunnen gebruiken om aan al hun verwerkingsbehoeften te voldoen, een cruciaal onderdeel van de moderne datastack geworden. Spark verandert de zakenwereld fundamenteel door bijvoorbeeld on demand videostreaming die precies is afgestemd op de voorkeuren van kijkers mogelijk te maken, maar ook banken die enorme hoeveelheden machine learning-gegevens verwerken te ondersteunen bij fraudepreventie.

Soda Spark wordt geleverd als open source-software onder de Apache-licentie en wordt gratis aangeboden op GitHub.