Diamanti en Splunk vormen winnende combinatie bij mediaconcern NBCUniversal

IT-specialisten van NBCUniversal (NBCU) combineerden met succes hun op Splunk gebaseerd data- analyse platform met het Diamanti Kubernetes platform. Hogere prestaties, betere schaalbaarheid en vereenvoudiging van het beheer vormen het resultaat van de software/hardware combinatie.

De internationale maker en distributeur van film- en televisieproducties ervaart heel duidelijk de verschuiving in het bedrijfsmodel naar rechtstreekse digitale afname van de mediadiensten door consumenten. Om de nieuwe business technisch beter te ondersteunen was het concern als gestart met het samenbrengen van de interne softwareontwikkelaars en de mensen van de operationele dienstverlening. Containers en Kubernetes werden ingevoerd om de schaalbaarheid van applicaties te vergroten en de IT-processen flexibeler en veerkrachtig te maken.

Grenzen fysieke infrastructuur
De DevOps omgeving leunde zwaar op Splunk-applicaties. Het softwareplatform is in staat om alle door machines gegenereerde data in ongestructureerde vorm te ontsluiten, op te slaan en te structureren ten behoeve van een willekeurige reeks AI-gebaseerde analytische toepassingen. Het platform omvat een bibliotheek van pasklare apps die zich via API’s met een dataverzameling laten verbinden. Terwijl Splunk functioneel heel rijk is, kan het inrichten en implementeren als complex worden ervaren. De applicaties functioneren optimaal zolang de onderliggende infrastructurele IT-bronnen in lijn zijn met de topologie van een Splunk-cluster.

Aanvankelijk lieten bij NBCU de prestaties van de applicaties te wensen over. De architectuur had moeite met het opnemen en verwerken van 1 terabyte aan data per dag, waardoor de organisatie worstelde met een enorme achterstand; veel data bleef onverwerkt en het activeren van real-time acties was niet langer mogelijk. De grenzen van de fysieke infrastructuur waren bereikt. Software liet zich niet op grote schaal in gebruik nemen.

Test met Splunk-referentiearchitectuur
De oplossing werd gevonden in een 32-node Diamanti cluster, voorzien van Intel CPU’s, met een verwerkingscapaciteit van 200 Terabyte aan data. De Splunk-applicaties werden overgezet naar ’bare-metal’ Kubernetes. Door het wegvallen van de virtualisatie overhead na het verwijderen van de hypervisors en andere overbodige abstractielagen, bleek het Diamanti platform in staat tot het verwerken van 1.000.000 I/O processen per seconde per 1U node. Zonder kostbare en gecompliceerde over-dimensionering van de infrastructuur gingen de prestaties van de Splunk applicaties met sprongen omhoog. Het resultaat: in plaats van 1 terabyte per dag aan data verwerkt NBCU nu 1 terabyte per uur. De oorspronkelijke fysieke IT-infrastructuur liet zich met een zesde inkrimpen, waardoor de IT-afdeling bespaarde op: elektrische voeding; koelcapaciteit; rackruimte in het datacenter; meerkosten voor monitoring en onderhoud. Het mediaconcern becijfert dat ze de TCO voor de Splunk gerelateerde IT-infrastructuur met 80 procent heeft verlaagd.

Gedurende de afgelopen maand augustus heeft Diamanti een onafhankelijk Splunk expertisebureau gevraagd om de meerwaarde van haar Kubernetes-platform te valideren voor Splunk-applicaties. Dit bureau, de Kinney Group, levert sedert 2013 diensten rondom Splunk aan het bedrijfsleven en overheidsorganisaties. De Splunk-experts concludeerden na een uitgebreide test van een Splunk-referentiearchitectuur op zowel het Diamanti-platform als op het public cloud platform van AWS, dat Splunk-gebruikers zowel qua prestaties als qua kosten beter uit zijn met de Diamanti cloudoplossing.