Delta: voorbij het datawarehouse en datalake (2/2)
Dit is deel 2 van een blog van Rick van der Lans over de bouwstenen voor een enterprise data-architectuur. In deel 1 behandelde hij waarom datawarehouses, datalakes en datalakehouses vooral analytische architecturen zijn en niet het volledige dataverwerkingslandschap omvatten. Volgens Van der Lans vraagt de groeiende complexiteit om een cyclische, netwerkgebaseerde enterprise data-architectuur, en daarvoor introduceerde hij Delta. In dit deel bespreekt hij de vier hoofdonderdelen van de Delta data-architectuur en de datastromen daartussen.
De Delta data-architectuur als alternatief
Delta is een federatieve, modulaire enterprise data-architectuur met een cyclisch en netwerkgebaseerd karakter. Ze is ontworpen om de eerdergenoemde uitdagingen aan te pakken en oplossingen te bieden voor bekende obstakels.
Op hoofdlijnen heeft Delta de volgende eigenschappen:
- de architectuur omvat functionaliteit die behoort tot bron-, transformator- en analysesystemen, waardoor het volledige datatraject van bron tot inzicht wordt afgedekt;
- data wordt eenvoudiger vindbaar en inzichtelijk doordat een breed scala aan metadata beschikbaar, doorzoekbaar en via een softwarematige interface toegankelijk wordt gemaakt. Metadata is een essentieel onderdeel van Delta;
- data wordt op een herbruikbare manier gebruiksklaar gemaakt voor verschillende analysevormen, van simpele rapportages en dashboards tot geavanceerde datasciencemodellen en Agentic AI-toepassingen;
- het gebruik van datakopieën wordt in de gehele architectuur geminimaliseerd;
- toegang tot data wordt beveiligd voor zowel transactioneel als analytisch gebruik;
- abstractie wordt op meerdere niveaus ingezet om de wendbaarheid te vergroten en afhankelijkheid van technologieën, producten en leveranciers te verminderen;
- bronsystemen worden met modules ingekapseld, waardoor brondata eenvoudiger toegankelijk wordt en wijzigingen in bronsystemen, inclusief volledige vervanging, gemakkelijker doorgevoerd worden;
- al het datagebruik uit bron-, transformator- en analysesystemen wordt gelogd en geïntegreerd beschikbaar gesteld voor analyses;
- data voor andere organisaties en open-data-initiatieven wordt via een data-on-demandbenadering beschikbaar gesteld en waar dat niet mogelijk is, wordt een data-by-copybenadering gebruikt;
- data van andere organisaties wordt gebruikt met een minimum aan koppelingen en datakopieën in de architectuur;
- operationele lineage wordt op detailniveau inzichtelijk gemaakt om procesreconstructie, transparantie en auditeerbaarheid te waarborgen;
- transformatoren worden zoveel mogelijk eenmaal gedefinieerd en meervoudig gebruikt;
- datahistorie wordt zo dicht mogelijk bij de bronsystemen opgebouwd en beschikbaar gemaakt voor verschillende toepassingen;
- data die bronsystemen aan andere systemen leveren, voldoet aan een enterprise datamodel, zodat integratie eenvoudiger wordt.
De vier hoofdonderdelen van de Delta data-architectuur
De Delta data-architectuur bestaat uit vier hoofdonderdelen die samen één geheel vormen:
- Delta-modules, gericht op het beheersbaar en toegankelijk maken van brondata;
- Delta-blender, gericht op het gebruiksklaar maken van data voor analyses, rapportages en andere systemen;
- Delta-shop, gericht op het vindbaar en inzichtelijk maken van data;
- Delta-rulebook, gericht op het consistent bewerken van data.
De groenblauwe rechthoeken in figuur 2 maken deel uit van de Delta-architectuur, terwijl de lichtgrijze onderdelen daarbuiten vallen. De pijlen stellen de datastromen voor.
Figuur 2: De vier hoofdonderdelen van de Delta data-architectuur.
Delta-modules
Bronsystemen worden ingekapseld met Delta-modules. Deze modules hebben verschillende functies, zoals het uitvoeren van query’s op brondata, het bewerken van brondata, het loggen van datagebruik, het leveren van data die voldoet aan het enterprise datamodel en het produceren van metadata over het bronsysteem en de brondata.
Koppelingen met andere systemen verlopen via de Delta-modules. Directe koppelingen tussen een bronsysteem en andere systemen worden dus vervangen door koppelingen via deze modules.
De Delta-modules maken brondata toegankelijk voor andere systemen en fungeren als het ware als stopcontacten waarop andere systemen kunnen aansluiten. Tegelijk schermen ze af hoe en met welke technologie data daadwerkelijk door het bronsysteem wordt opgeslagen en beheerd.
De modules bevatten bovendien veel functionaliteit die anders in transformatorsystemen wordt ontwikkeld. Kortom, het ontkoppelen van de systemen door middel van de Delta-modules helpt bij het ontvlechten van het gehele dataverwerkingslandschap.
Delta-blender
De Delta-blender is verantwoordelijk voor het ophalen van data uit bronsystemen en het transformeren daarvan naar een gebruiksklare vorm voor analyse- en bronsystemen.
In feite is de Delta-blender het transformatorsysteem van de Delta-architectuur. Het voert bewerkingen uit zoals berekeningen, integraties, filters en aggregaties. In de Delta-blender worden de transformatoren gedefinieerd en uitgevoerd waarmee data gebruiksklaar wordt gemaakt.
Delta-shop
De Delta-shop stelt gebruikers in staat om data, programma’s, spreadsheets, rapporten, services en applicaties te vinden door te zoeken in een rijke verzameling metadata.
Deze metadata wordt verzameld uit onder meer bronsystemen, Delta-modules, de Delta-blender, analysesystemen en transformatorsystemen. Nadat gebruikers een object hebben gevonden, kunnen zij metadata opvragen zoals definities, toelichtingen, herkomst, eigenaar, datamodellen en annotaties.
Ontwikkelaars en gebruikers van analysesystemen kunnen zelf aanvullende metadata invoeren, bijvoorbeeld in de vorm van annotaties.
Delta-rulebook
In het Delta-rulebook worden zowel regels voor datakwaliteit als regels voor bedrijfslogica centraal vastgelegd. Deze regels vormen het fundament voor consistente en betrouwbare dataverwerking en kunnen vanuit uiteenlopende systemen en Delta-onderdelen worden geactiveerd en toegepast.
Datakwaliteitsregels richten zich primair op de juistheid, volledigheid, consistentie en actualiteit van data. Dat gebeurt bijvoorbeeld via controles op verplichte velden, geldige waarden en onderlinge afhankelijkheden.
Bedrijfslogicaregels leggen vast hoe data binnen de context van de organisatie moet worden geïnterpreteerd en gebruikt. Ze zorgen ervoor dat processen en besluitvorming aansluiten bij vastgestelde bedrijfsafspraken en beleidsregels.
Samen moeten deze twee typen regels ervoor zorgen dat afwijkingen vroegtijdig worden gesignaleerd en gecorrigeerd en dat data over het gehele datatraject zo correct, betrouwbaar en uniform mogelijk blijft.
De afnemende systemen in figuur 2 maken geen deel uit van de Delta-architectuur, maar hebben wel enkele Delta-modules nodig die ook voor de bronsystemen essentieel zijn. Analysesystemen moeten bijvoorbeeld datagebruik loggen en metadata kunnen produceren.
Datastromen tussen onderdelen van de Delta-architectuur
De vier hoofdonderdelen van de Delta-architectuur hebben relaties met bronsystemen, systemen waarin metadata wordt ingevoerd en beheerd, analysesystemen en transformatorsystemen, zoals zichtbaar is in figuur 3.
Tussen deze onderdelen bestaan datastromen waarbij onderscheid wordt gemaakt tussen gewone data (D), metadata (M) en logdata (L). In figuur 3 zijn de datastromen tussen onderdelen die niet tot Delta behoren niet opgenomen.
Figuur 3: Globaal overzicht van de vier hoofdonderdelen (groenblauwe blokken) van de Delta data-architectuur en de datastromen.
Bronsystemen kunnen zowel interne als externe systemen zijn. Externe bronsystemen zijn systemen van andere organisaties. Hetzelfde geldt voor analysesystemen; ook die kunnen intern of extern zijn. In het tweede geval wordt data door een andere organisatie opgevraagd.
Met metadatabronsystemen worden systemen bedoeld die geen onderdeel zijn van de Delta-architectuur, maar wel metadata beheren, zoals datamodelleringsproducten, business glossary’s en databases.
Het doel is om alle transformatorsystemen uiteindelijk te vervangen door de Delta-blender. In figuur 3 zijn deze systemen toch opgenomen, omdat het tijd kan kosten voordat ze allemaal zijn vervangen. De Delta-architectuur zal daarom in een overgangsfase zeker moeten samenwerken met deze transformatorsystemen.
Op hoofdlijnen zijn de datastromen als volgt:
- De transformatorsystemen leveren data aan bepaalde Delta-modules en het Delta-rulebook, evenals data en logdata aan de Delta-blender en metadata aan de Delta-shop.
- De Delta-modules leveren data aan de transformatorsystemen en het Delta-rulebook, evenals data en metadata aan de interne en externe analysesystemen. Daarnaast leveren ze data, metadata en logdata aan de Delta-blender.
- De Delta-blender levert gebruiksklare data aan het Delta-rulebook, de transformatorsystemen, data en metadata aan de Delta-modules, metadata aan de Delta-shop en zowel data als logdata aan de analysesystemen.
- De analysesystemen leveren data aan de Delta-blender, het Delta-rulebook en de Delta-modules en metadata aan de Delta-shop.
- Het Delta-rulebook levert data aan de Delta-modules, de analysesystemen, transformatorsystemen, data en logdata aan de Delta-blender en metadata aan de Delta-shop.
- De Delta-shop levert data aan het Delta-rulebook, metadata aan de analysesystemen en zowel metadata als logdata aan de Delta-blender.
- De metadatabronsystemen leveren metadata aan de Delta-shop, de Delta-modules en de Delta-blender.
Conclusies
Analyse-architecturen zijn in essentie domeinarchitecturen. Ze beschrijven hoe data wordt geïntegreerd, getransformeerd en beschikbaar gesteld voor uiteenlopende vormen van rapportage en analyse, maar omvatten niet het volledige dataverwerkingslandschap.
Aspecten zoals samenwerking tussen bronsystemen, organisatiebrede metadata, operationele data lineage en het centraal beheren van bedrijfslogica- en datakwaliteitsregels vallen doorgaans buiten hun scope. Vanuit architectuurperspectief kan een analyse-architectuur daarom worden beschouwd als een gespecialiseerde architectuur voor het analytische deel van het dataverwerkingslandschap. Een implementatie ervan vervult functioneel vooral de rol van een transformatorsysteem dat data gebruiksklaar maakt voor analyses.
De Delta data-architectuur is ontwikkeld vanuit de gedachte dat de toenemende complexiteit van dataverwerking om een bredere en fundamenteel andere benadering vraagt. In plaats van afzonderlijke oplossingen voor specifieke vraagstukken te introduceren, biedt Delta een geïntegreerde enterprise data-architectuur die het volledige dataverwerkingslandschap omvat: van bronsystemen en transformaties tot analyses, metadata, datakwaliteit en datagovernance.
Door herbruikbaarheid en transparantie centraal te stellen, datakopieën te minimaliseren en regels en rijke metadata organisatiebreed beschikbaar te maken, ontstaat een dataverwerkingslandschap dat beter beheersbaar, wendbaarder en toekomstbestendiger is.
Voor meer informatie over de Delta data-architectuur verwijs ik naar mijn boek “De Delta data-architectuur: van bron tot inzicht” en naar andere gepubliceerde artikelen over Delta alsmede het gelijknamige seminar bij Adept Events.
