AI als nagel aan doodskist van Karl Popper | Technisch Weekblad
Opinie&Analyse

AI als nagel aan doodskist van Karl Popper

Gerald Schut | donderdag 19 november 2020
Robotica & AI, Onderzoek & R&D

Als het goed is, hebben we allemaal geleerd wat volgens de Brits-Oostenrijks filosoof Karl Popper de kern van de wetenschap is: empirische falsificatie. Je formuleert een hypothese en onderwerpt die aan een test. Iedere veronderstelling die je op die manier niet hebt kunnen verwerpen is mogelijk waar. En dat is uiteindelijk alles wat we weten: de wetenschappelijke waarheid als optelsom van alles wat geen aantoonbare onzin is.

Vorige maand luidden 31 wetenschappers in Nature in het artikel ‘Transparency and reproducibility in artificial intelligence’ de noodklok. Ze reageerden boos op onderzoek van Google Health in hetzelfde journal, waarin kunstmatige intelligentie (AI) borstkanker op afbeeldingen succesvol opspoort. Volgens de onderzoekers onthulde Google zo weinig details over de gebruikte code en hoe die getest is, dat het onderzoek onmogelijk gecontroleerd kan worden en zo uiteindelijk niet meer is dan peperdure reclamefolder.

‘We konden er niet meer tegen,’ zegt hoofdauteur Benjamin Haibe-Kains tegen MIT Technology Review. ‘Het gaat niet om dit specifieke onderzoek, maar het is een trend die nu al enkele jaren aan de gang is en waar we ons allen erg aan storen. Hier kunnen we niets mee.’ Hij noemt het ‘opwindend onderzoek, dat helaas niets met wetenschap te maken heeft.’

Hoewel het meeste onderzoek nooit overgedaan wordt door collega’s, is het van groot belang dat dit wél kan. Onderzoek dat niet repliceerbaar is, is niet falsifieerbaar. ‘Onze toewijding aan correcte methodologie blijft inderdaad achter bij de ambitie van onze experimenten,’ geeft Joelle Pineau van Facebook AI Research toe.

Het is al lastig dat AI in belangrijke mate een ‘black box’ is: je kunt wel zien wát het doet, maar niet waaróm. Maar het gebrek aan transparantie is een nodeloos en reëel probleem voor de wetenschap. Volgens ‘2020 State of AI’ deelt slechts 15% van de AI-onderzoeken ruwe code.

Gelukkig zijn er initiatieven die openheid stimuleren zoals het Papers with Code project, maar om een experiment te reproduceren is de code niet genoeg. Je moet bijvoorbeeld ook weten hoe een model getraind is. Tenslotte is toegang tot hardware in veel gevallen een praktische onoverkomelijkheid. Vrijwel niemand heeft beschikking over astronomische processorcapaciteit van bedrijven als DeepMind en OpenAI. Hetzelfde geldt overigens voor gigantische experimenten in deeltjesfysica, maar daar wordt onderzoek gedaan door teams van meer dan duizend onderzoekers. Dat is anders dan corporate onderzoek achter gesloten deuren.

Transparantie over onderzoek naar kunstmatige intelligentie is niet alleen van groot belang voor het maatschappelijk vertrouwen in AI, maar ook voor het vertrouwen in de wetenschap zelf. Als onderzoek niet meer falsifieerbaar is, leven we straks allemaal in universa met ‘alternative facts’. Hoe fragiel het vertrouwen in instituties kan zijn, is in 2020 al vaak genoeg duidelijk geworden. Intransparant onderzoek is spelen met vuur.

Gerald Schut is redacteur bij TW

Ontvang de nieuwsbrief

Meld je nu aan!

Gratis proefabonnement TW

Bestel nu 2 gratis proefnummers TW