Vijf Redenen voor Explainable AI

Steeds meer organisaties introduceren kunstmatige intelligentie (AI) en machine learning in hun bedrijfsvoering. Deze introductie levert veel voordelen op. Bijvoorbeeld taken kunnen sneller en efficiënter worden uitgevoerd, AI ondersteunt besluitvorming door processen slimmer te maken en het helpt bij het verminderen van fouten.

Toch levert de introductie van kunstmatige intelligentie ook nieuwe uitdagingen op. Een daarvan is het vertrouwen van de uitkomsten van een AI-model.
Waarom is zo’n uitleg zo belangrijk? Als het gaat om voorspellende modellen, moet je een afweging maken: wil je gewoon weten wat er wordt voorspeld? Bijvoorbeeld de kans dat een klant zal vertrekken of hoe effectief een medicijn zal zijn voor een patiënt. Of wil je weten waarom de voorspelling is gedaan en eventueel inleveren op de voorspellende prestatie voor een uitleg?

Zelf geloof ik dat ieder AI-model uitleg nodig heeft ongeacht het belang of de juridische afweging. Sterker nog ik vind dat er geen AI-model meer in het publieke domein mag komen, zonder dat deze uitlegt hoe de conclusie tot stand is gekomen.

Gartner stelt dat in 2023 al het personeel dat wordt ingehuurd voor AI-ontwikkeling en trainingswerk, deskundig moet zijn in Responsible AI, waar Explainable AI onderdeel van is.

Wat is Explainable AI?
Explainable AI wordt in het Nederlands ook wel verklaarbare AI of uitlegbare AI genoemd. De Engelse afkorting wordt ook gebruikt, namelijk XAI (eXplainable Artificial Intelligence). Explainable AI is, kort gezegd, een concept waarbij de beslissingen van Artificial Intelligence transparant worden gemaakt voor menselijke experts. Dit in tegenstelling tot ‘black box’- systemen, waarvan het onduidelijk is hoe deze aan zijn regels komt. Deze regels zijn niet inzichtelijk en niet controleerbaar. Met Explainable AI proberen we deze regels te achterhalen.

Vijf redenen
Er zijn grofweg vijf redenen voor het geven van uitleg van een conclusie van een AI-model. Het is belangrijk om te weten waarom je uitleg geeft en aan wie. Afhankelijk daarvan kies je de juiste methode en denk je na over de presentatie van de uitleg.

• Wet- en regelgeving
De privacywet geeft je het recht op een menselijke blik bij automatische besluiten die over je gaan en die gevolgen voor je hebben. Bijvoorbeeld dat je een lening niet krijgt of dat je niet voor een sollicitatiegesprek wordt uitgenodigd. Dat betekent dat de organisatie een nieuw besluit moet nemen waarbij een mens je gegevens heeft beoordeeld. Voor een AI-systeem betekent dit dat duidelijk moet zijn hoe de conclusie tot stand is gekomen.
• Vertrouwen in de uitkomsten
Belangrijk voor de professionals die het AI-systeem gebruiken is dat ze de uitkomsten vertrouwen. Denk daarbij aan bijvoorbeeld artsen en patiënten, Als je niet weet de AI aan de uitkomsten komt, dan zijn deze lastig te vertrouwen.
• Vinden van fouten
Voor ontwikkelaars en onderzoekers is Explainable AI een belangrijk instrument om fouten te vinden of onverwacht gedrag te verklaren. Door beter begrip van de werking van een model kan deze verbeterd worden.
• Ontdekken van kennis
De uitleg van een model kan een uitstekende bron zijn voor het ontdekken van kennis. Van neurale netwerken is bekend dat ze bijzonder goed zijn in het vinden van patronen in gegevens. Daarom kunnen verklaringen van algoritmen die door neurale netwerken zijn geleerd, ook waardevolle informatie blootleggen die voor mensen moeilijk te ontdekken zijn uit enorme datasets.
• Informeren van gebruikers
De uitleg van een model kan gebruikers informeren hoe een uitkomst tot stand is gekomen. Bijvoorbeeld bij aanbevelingen voor producten in een webshop wordt aangegeven dat anderen een laptoptas kochten als zij net als jij een laptop kochten.

Aan wie krijgt uitleg?
Zoals gezegd is het belangrijk om te weten aan wie uitleg gegeven wordt. Dus wie is de doelgroep voor de uitleg, wie zijn de belangrijkste stakeholders? Is de uitleg bedoeld voor de data scientists met diepgaande AI-kennis, een domein expert, interne gebruikers of voor bijvoorbeeld klanten?
Het meest waarschijnlijk is dat je meerdere stakeholders hebt en afhankelijk van de doelgroep, zijn er andere eisen voor de uitleg.

Voorbeelden van stakeholders zijn (zonder volledig te zijn):
• Eindgebruikers
Deze groep heeft uitleg nodig om de uitkomsten van een AI-model te begrijpen. Vaak wordt de uitleg gerelateerd aan het gedrag van de gebruiker. Bijvoorbeeld: je krijgt de volgende film aanbeveling omdat je de Film Frozen leuk vond. Voor complexe modellen, zal verkend moeten worden wat de juiste uitleg is voor deze doelgroep. Hoe uitgebreid moet de uitleg zijn en welke termen kun je wel of niet gebruiken.
• Domein expert
De domein expert kan omgaan met jargon uit het vakgebied en is in staat om de uitleg te controleren voor geselecteerde voorbeeldresultaten. Zo kan een arts de uitleg van een diagnose door een AI-model controleren of deze hout snijdt.
• Interne medewerkers
Interne gebruikers willen uitleg om vertrouwen te krijgen in het model. Waarschijnlijk neemt een AI-model een saai deel van hun werk over, maar dan moet de medewerker wel kunnen controleren dat het model goed werkt, zonder dat daarvoor diepgaande technische kennis voor nodig is.
• Data scientist
De data scientist wil inzicht in de werking van het model. Hoe vaak worden fouten gemaakt? Wat zijn de limitaties? Waarom krijg je deze voorspelling bij deze data?
• AI Operations Engineer
De AI Operations Engineer wil uitleg of het model blijft werken zoals verwacht. Ontstaat er geen datadrift. Dit is onverwachte en niet-gedocumenteerde veranderingen in datastructuur, semantiek en infrastructuur.

Keuze algoritmen
Wat ik als belangrijkste advies mee wil geven is dat je bij je ontwerp Explainable AI direct meeneemt. Waarbij de belangrijkste vraag is of een eenvoudiger model net zo goed presteert als een complex model. Of nog beter, misschien is er een interpreteerbaar model mogelijk. Een zogenaamde ‘whitebox’ variant. Deze modellen zijn transparant en begrijpelijk voor experts.

Nadelen Explainable AI
De technologie van Explainable AI is nog niet volwassen helaas. Dit betekent ondermeer dat de huidige tools en technieken vooral uitleg geven die alleen begrijpelijk zijn voor experts. Daarnaast kunnen we met Explainable AI niet echt in een model kijken, maar maken we een inschatting welke regels geleerd zijn. Door bijvoorbeeld de input van een model steeds te veranderen achterhalen we de regels. Dit gaat helaas ook gepaard met fouten. Explainable AI geeft nog geen 100 procent garantie op een juiste uitleg. Gelukkig wordt hier veel wetenschappelijk onderzoek naar gedaan.

Conclusie
Hoewel Explainable AI nog niet volwassen is, spoor ik iedereen in het AI-veld aan om zich in dit onderwerp te verdiepen. Op dit moment voelt het alsof het geven van uitleg optioneel is, maar wetgeving vanuit Europa zal waarschijnlijk snel volgen. Maar wetgeving zou niet de drijfveer moeten zijn, want uitleg verhoogt het vertrouwen in en de correctheid van je model.

Meer weten over Explainable AI? Lees onze whitepaper over Explainable AI.