Is transparante AI nutteloos? | Technisch Weekblad
Opinie&Analyse
Gerald Schut

Is transparante AI nutteloos?

Gerald Schut | donderdag 30 juli 2020
Robotica & AI, Beleid & Bedrijfsvoering

Artificial intelligence (AI) moet gevoelige beslissingen kunnen uitleggen. Kredietverstrekking, strafrecht, opsporing, medische analyse, human resources: als een slim systeem over jouw leven beslist, wil je weten waar het zo’n besluit op baseert. Daarom wordt de roep om ‘self-explaining AI’ steeds luider. Het vakgebied heeft al zijn eigen acroniem: XAI. Verschillende landen werken aan wetgeving.

Voorlopig halen vooral ontnuchterende en hilarische verklaringen voor de resultaten van ‘machine learning’ de media. Het vrouwen-discriminerende rekruteringsalgoritme van Amazon. Een zelflerend netwerk dat husky’s en wolven louter van elkaar onderscheidt door te kijken of er sneeuw op de foto te zien is. Op het eerste gezicht klinkt het verstandig te eisen dat AI keuzes kan toelichten.

Ik werd dan ook vrolijk van een recent opinieartikel in Science: ‘“Explaining” machine learning reveals policy challenges’. Een onderbelicht bijproduct van XAI, is dat modderige politieke compromissen beter zullen moeten worden uitgelegd. Denk aan het fiscaal systeem dat als een kerstboom vol hangt met onderling tegenstrijdige kadootjes voor Jan en alleman. Als je zoiets door een machine laat ontwerpen, moet je eerst duidelijke doelen formuleren. Dat maakt op korte termijn compromissen lastiger, maar op de lange termijn politieke besluiten transparanter, schrijven de auteurs. Klinkt goed, zegt een collega, maar noem eens een voorbeeld van machine learning in de Nederlandse politiek, waar XAI een verschil zou maken. Ik blijf het antwoord schuldig en besluit het Google te vragen.

Ik stuit direct op twee papers die het hele concept van XAI bekritiseren. De meest gangbare stroming in XAI probeert uitkomsten stap voor stap te verklaren: je bouwt een ‘glass box’ in plaats van een ‘black box’. Maar volgens natuurkundige Daniel Elton is het kansrijker om verklaringen op een hoger niveau te geven zoals mensen ook doen. We begrijpen zelf niet op neuraal niveau waarom we een besluit nemen. Het verhaaltje achteraf is het beste, wat we kunnen bieden. Waarom zouden we van AI iets vragen, wat we niet van onszelf vragen?

Scott Robbins (TU Delft) gaat verder en noemt XAI een ‘misdirected principle’. Je bouwt een AI om heel moeilijke dingen uit te rekenen. Als je zo’n systeem vervolgens sterk moet vertragen om het aan mensen uit te leggen kan je het net zo goed niet bouwen. Hoe Spotify mij precies muziek aanraadt maakt mij niet zoveel uit. Als het maar werkt. Zou het voor AlphaGO überhaupt ooit mogelijk zijn om zijn verbijsterende winnende zetten in mensentaal toe te toelichten? Zou AlphaGO nog wel wereldkmapioen worden als we dat van DeepMind verlangden? Nee, laat AI lekker dingen uitrekenen waar wij mensen te dom voor zijn. Ik ben om.

Maar wacht eens even, fluistert vlak voor de deadline een stemmetje: wat nou als het slimme algoritme van Google helemaal geen zin heeft om zichzelf toe lichten en me daarom naar deze kritische papers heeft toegestuurd?

Ontvang de nieuwsbrief

Meld je nu aan!

Gratis proefabonnement TW

Bestel nu 2 gratis proefnummers TW