Drie valkuilen van AI-experimenten

Zoals vaak het geval is bij een opkomende technologie, wordt er op dit moment nog volop geëxperimenteerd met kunstmatige intelligentie. Dat is goed nieuws, maar volgens Mark Wolffenbuttel zou het nog mooier zijn als deze experimenten ook leiden tot een praktische toepassing.

De Unit Manager van Info Support ziet AI-experimenten nu nog vaak stranden in het zicht van de finish. “In de praktijk zien we drie valkuilen vaak terugkomen in AI-experimenten. En eigenlijk zijn dat allemaal fenomenen waar IT al jaren mee te maken heeft. Alle drie de belemmeringen kun je ondervangen door te werken in DevOps-teams.”

Valkuil 1: Kwalitatieve data zijn moeilijk te vinden
Het succes van een AI-oplossing valt of staat bij de data die je tot je beschikking hebt en de kwaliteit daarvan. Idealiter wil je als ontwikkelteam toegang hebben tot veel verschillende databronnen binnen de organisatie om mee te testen en ontwikkelen. In de praktijk gaat het daar al gauw mis. De eigenaren van databases zitten vaak verspreid over de organisatie, waardoor er veel tijd en energie kan gaan zitten in het vergaren van data. Teams die zich bezighouden met AI-experimenten hebben daardoor al gauw de neiging om het maar te doen met de (beperkte) data die eenvoudig en snel beschikbaar zijn. En dan hebben we het niet eens gehad over het controleren van de datakwaliteit, waarmee je als team toch echt langs een domeinexpert en/of IT zult moeten – voilà, een extra drempel.

De DevOps-oplossing: Betrek niet alleen ontwikkelaars en eindgebruikers bij een AI-experiment, maar ook teamleden die verantwoordelijk zijn voor de datastrategie en -kwaliteit. Het gaat dan om data engineers en data scientists.

Valkuil 2: Vasthouden aan 100 procent accuratesse
IT is per definitie nogal een exact vakgebied en daardoor hebben we er soms nogal moeite mee als uitkomsten niet 100 procent accuraat zijn. Deze hang naar perfectie kan het in de praktijk brengen van een nieuwe AI-oplossing vertragen of zelfs voorkomen.

Een voorbeeld: wanneer een team een AI-chatbot gaat ontwikkelen die wordt ingezet om vragen van klanten af te handelen, wil het team doorgaans een oplossing die altijd met het juiste antwoord komt op vragen. Als de accuratesse vervolgens ‘slechts’ 72 procent blijkt te zijn, dan kan een conclusie zijn dat de oplossing niet goed werkt. Wat er dan eigenlijk wordt ver eten, is dat mensen ook niet feilloos zijn; een klantenservice-medewerker weet ook niet altijd direct het juiste antwoord op een vraag. In dit soort gevallen heb je al gauw een business case gemaakt waarmee de accuratesse van een AI-chatbot kan worden verbeterd, bijvoorbeeld van 72 naar 80 procent.”

De DevOps-oplossing: Een minimale verbetering heeft ook een waarde, zeker in de experimentfase. Leer leven met  kleine stapjes; meerdere kleine stapjes leiden uiteindelijk ook naar een grote en voor de organisatie behapbare impact.

Valkuil 3: De eindgebruiker wordt niet betrokken
Als je een brug wilt slaan tussen het laboratorium van het AI-experiment en de uiteindelijke toepassing van een AI-oplossing in de praktijk, dan is het betrekken van de eindgebruiker in een vroeg stadium cruciaal. En dat zit hem niet alleen in het testen van features, maar ook in het uitleggen hoe een oplossing werkt. Om weer terug te komen op het vorige punt; als de uitkomsten van een AI-oplossing niet 100 procent accuraat zijn, dan is het belangrijk om de business mee te nemen in de verklaring. Leg daarom uit hoe de AI-oplossing tot bepaalde oplossingen is gekomen.

De DevOps-oplossing: Het betrekken van de eindgebruiker is bijna synoniem geworden aan de DevOps-benadering. Hierdoor kun je als ontwikkelteam regelmatig features testen en verbeteren voordat ze naar productie gaan.
Bruggen slaan

De DevOps-methode helpt dus om een aantal belangrijke bruggen te slaan tussen het ontwikkelteam en de eindgebruikers. Dat zit hem in het betrekken van die eindgebruiker in een vroeg stadium, maar dat geldt ook voor datastrategen die ervoor kunnen zorgen dat het team beschikt over de juiste (en kwalitatieve) data, ook na de implementatie. Het accepteren van een bepaalde foutmarge en dus leren leven met kleine verbeter tapjes is de laatste les die AI-teams kunnen trekken uit de DevOps-aanpak. Op die manier kun je ervoor zorgen dat je AI-oplossing verder komt dan de experimenteerfase.