‘Technici moeten meedenken over autonome wapens’ | Technisch Weekblad
Achtergrond

‘Technici moeten meedenken over autonome wapens’

Dorine Schenk | donderdag 19 november 2020
Robotica & AI, Veiligheid

Autonome wapens kunnen militairen helpen en ondersteunen. Maar is het wel verantwoord om zelfbeslissende systemen te introduceren in oorlogsvoering? Hoe zouden we met autonome wapens om moeten gaan en hoe zorg je dat je als mens voldoende controle houdt? Dat onderzoekt Ilse Verdiesen, Luitenant-kolonel bij de Landmacht en promovendus bij de TU Delft. 

‘Ik kijk welke controle-instrumenten er nu al zijn bij missies, zoals het mandaat en de zogeheten rules of engagement die tijdens een missie gelden’, vertelt Verdiesen. ‘Vervolgens kun je kijken waar je controle mist als er autonome wapensystemen worden geïntroduceerd.’ Hiervoor is het exacte beslismoment van autonome systemen van belang. Niet alleen het uitschakelen van een doel, maar ook bijvoorbeeld de beslissing van een drone om een bepaalde route te vliegen of om op een bepaald moment op te stijgen of te landen. ‘Die autonomie betekent dat het systeem, binnen geprogrammeerde kaders, zelf een besluit kan nemen’, zegt Verdiesen. ‘Hoe zorg je dan dat een drone in een bepaald gebied blijft, of terugkeert als de dreigingssituatie verandert? Ik kijk welke controlesystemen daarvoor nodig zijn, technisch of op bestuurlijk niveau, en wanneer er directe controle van een mens nodig is.’

Wat zijn autonome wapens precies?

‘Daarvoor bestaan verschillende definities. Heel simpel gezegd zijn het wapens die beschikken over kunstmatige intelligentie (AI). Die definitie kun je uitbreiden door te stellen dat het wapens zijn die zelfstandig beslissingen nemen op basis van parameters die mensen erin programmeren. Verder is er bij autonome wapens geen menselijke controle op het moment dat het systeem een beslissing neemt. Bij de definitie die ik gebruik in mijn onderzoek is een dergelijk wapen wel altijd ingebed is in een militair besluitvormingsproces, waarbij een commandant beslist of en wanneer het wapen ingezet wordt.’

Worden autonome wapensystemen al gebruikt?

‘Mensen denken dat het een toekomstig scenario is, maar eigenlijk hebben we al autonome wapensystemen. Bij de Nederlandse defensie beschikken we bijvoorbeeld al 20 jaar over een zogeheten Goalkeeper op onze schepen. Deze systemen identificeren vijandelijke vliegtuigen of raketten en kunnen, als het zover komt, zelf die doelen uitschakelen. Nu worden ze door mensen aangestuurd, maar je kunt ze automatisch laten handelen als de dreiging zo hoog wordt dat de menselijke reactie te langzaam is.’

Een groep invloedrijke mensen, waaronder tech-ondernemer Elon Musk, roept op tot een verbod op autonome wapens. Denkt u dat dat verstandig is?

‘Ik vind het lastig om daar duidelijk ja of nee op te antwoorden. Er zitten meerdere kanten aan. Als je iets verbied, dan moet je dat ook kunnen handhaven. En dit soort technologieën kunnen niet alleen door landelijke organisaties, maar door iedereen gebruikt worden. Je komt vrij eenvoudig aan een drone die autonoom kan vliegen. Bovendien hebben we dit soort systemen bij defensie dus al. Bij een verbod verbied je ook die bestaande systemen. Verder bestaat de mogelijkheid dat anderen dit soort wapens wel zullen gebruiken. In dat geval wil je jezelf er ook tegen kunnen verdedigen. Tenslotte zitten er militair gezien voordelen aan het gebruik van autonome wapens.’

Wat zijn de voordelen van autonome wapens?

‘Ze zijn vooral nuttig als de dreiging groot wordt en er weinig reactietijd is om in te grijpen. Dat geldt bijvoorbeeld voor hypersone raketten, die nu nog in de ontwikkelingsfase zitten. Die raketten gaan zo snel dat het voor mensen bijna niet mogelijk is om op tijd te beslissen en in te grijpen. Een autonoom systeem kan dat wel. Maar je moet wel zeker weten dat het systeem doet wat je verwacht. Het moet voorspelbaar zijn. En je moet beslissen of de situatie geschikt is voor het gebruik van een dergelijk wapen. Want als het systeem denkt dat iets een raket is en het blijkt niet zo te zijn – en die voorbeelden zijn er – dan had je misschien graag een menselijke check gehad.’

Wat kan er mis gaan?

‘Sommige AI-systemen, die werken met machine learning, zijn een black box. We weten niet precies hoe en waarom ze iets besluiten. Het is belangrijk dat die systemen zo ontworpen worden dat we begrijpen wat er gebeurt of in elk geval weten waarom en wanneer een systeem doet wat het doet. We kunnen geen systemen inzetten waarvan we niet zeker weten wat het in welke situatie doet. Daarom wordt er nu grondig onderzoek gedaan.
‘Soms lijkt een systeem goed te werken, maar gaat er onder de algoritmische motorkap toch iets mis. Een bekend voorbeeld is een systeem dat op basis van foto’s moest leren om wolven en honden van elkaar te onderscheiden. Uiteindelijk classificeerde het systeem foto’s op basis van de achtergrond; wolven waren meestal in de sneeuw gefotografeerd en honden niet. Dat is een risico waar je rekening mee moet houden.’

Wie bepaalt wat autonome wapens mogen?

‘Dat is vastgelegd in wetgeving, zoals het humanitair oorlogsrecht en de Geneefse Conventies. Dat zijn de regels waar wij ons als militairen aan moeten houden tijdens missies. Op basis daarvan wordt bepaald of je een wapen in mag zetten. Er is op dit moment discussie of er extra regelgeving moet komen voor autonome wapensystemen. Die discussie loopt nog bij de Verenigde Naties (VN).

‘Op dit moment geldt voor autonome wapens dezelfde regelgeving als voor militairen en gewone wapensystemen. Uiteindelijke besluit de commandant of en wanneer wapens ingezet worden. Er is geen enkel wapensysteem dat zelf denkt “ik ga opstijgen en doelen uitschakelen”. Er zit altijd een menselijke beslissing in en degene die die beslissing neemt is verantwoordelijk.’

Zouden autonome wapens een stopknop moeten hebben?

‘Een stopknop is een optie, maar ik vraag me af of je dan nog op tijd bent en kunt garanderen dat je verbinding hebt met het systeem. Wat je ook kunt doen om extra veiligheid in te bouwen is zorgen dat een systeem pas reageert als het 80 of zelfs 99,9% zeker is dat het juiste doelwit voor zich heeft. Daarbij wil je wel dat het systeem effectief blijft en niet altijd onverrichter zaken terugkeert.’

Hoe zal het gebruik van autonome systemen de komende 5 tot 10 jaar veranderen?

‘Ik denk niet dat over 5 jaar de helft van defensie vervangen is door robots, maar ik denk wel dat we geleidelijk steeds meer autonome systemen gaan zien en dat we daar steeds meer ervaring mee opdoen. Het is daarbij belangrijk dat we kennis van en vertrouwen in dit soort systemen krijgen.

‘Ik heb het nu over andere autonome systemen dan wapens, zoals systemen die automatisch achter je aan rijden als je patrouilles doet, die gebruikt kunnen worden voor het afvoeren van gewonden of die bepaalde bewakingstaken uitvoeren.

‘Autonome wapens zijn een ander verhaal. Daar zal de komende tijd discussie over gevoerd moeten worden, omdat er ook een politieke dimensie aan zit. Die discussie moeten we naar mijn idee voeren met een grotere groep dan alleen defensie. Ik merk dat er veel juristen en ethici zijn die hierover nadenken, maar vanuit de techniek gebeurt dat minder. Het zou mooi zijn als er vanuit meer verschillende vakgebieden aandacht voor komt.’ 

 

CV:

2019-heden
Beleidsadviseur Innovatie FRONT, Luitenant-kolonel
2018-heden
Promovendus TU Delft
2017-2019
Defensie Cyber Commando, Majoor
2015-2017
Master Field Of StudyInformation Architecture, TU Delft
2005-2014
Diverse functies binnen de Landmacht, Kapitein/Majoor
1999-2005
Pelotonscommandant, Luitenant
1995-1999
Ziekenauto chauffeur, Korporaal 

Ontvang de nieuwsbrief

Meld je nu aan!

Gratis proefabonnement TW

Bestel nu 2 gratis proefnummers TW