Artikelen

Nieuw rapport: dodelijk Uber-ongeluk door softwarekeuzes

Ruim 5 seconden voor de dodelijke aanrijding van Ubers zelfrijdende Volvo XC90 met Elaine Herzberg had de Uber-radar haar al opgemerkt. Door dubieuze programmeerkeuzes begon de auto pas 0,2 seconden voor de aanrijding met remmen, blijkt uit een nieuw rapport van de Amerikaanse National Safety Transportation Board (NSTB).

Elaine Herzberg stak op 18 maart 2018 in Tempe met de fiets aan de hand over op een plek waar dat niet mocht (‘jaywalking’). Daar ging de software al direct in de fout, want er bestond geen categorie voor ‘jaywalkers’. Voor software was het onmogelijk dat op de plek des onheils voetgangers zouden zijn. De auto kón Herzberg daardoor niet als voetganger herkennen, nog los van de complicerende fiets aan haar hand. De getailleerde tijdslijn van de NSTB is een mini-thriller:

  • 5,2 seconden voor botsing: het systeem classificeert H. als ‘overig’
  • 4,2 seconden voor botsing: H. wordt gezien als ‘auto’
  • tussen seconden 3,8 en 2,7 alterneert het systeem verschillende keren tussen ‘overig’ en ‘auto’
  • 2,6 seconden voor botsing: H. wordt ingedeeld als ‘fietser’
  • 1,5 seconden voor botsing: classificatie als ‘onbekend’
  • 1,2 seconden voor botsing: H. wordt opnieuw gezien als ‘fietser’

Cruciaal bij het uitblijven van een reactie van de software was een tweede programmeerkeuze: zodra de classificatie van een object verandert, wordt de locatiegeschiedenis van het object weggegooid, Daardoor werd het berekenen van een bewegingspad van Herzberg zo goed als onmogelijk. Herzberg werd steeds opnieuw beschouwd als stilstaand, en kortstondig als fietser, die niet zomaar van baan zou wisselen. Pas 1,2 seconden voor het ongeluk kreeg het systeem door dat Herzberg in hetzelfde baanvak als de Volvo ging belanden en een botsing zou volgen.

Op dat moment zou remmen het leven van Herzberg misschien gered hebben. Maar hier zorgde weer een programmeerkeuze voor een andere uitkomst. Zodra het systeem ‘een noodsituatie’ ziet aankomen volgt een volle seconde van ‘action suppression’ om verschillende handelingsscenario’s door te rekenen. Daardoor begon de Volvo van Uber pas 0,2 seconden voor de botsing te remmen. Maar zelfs toen ging de auto niet vol op de remmen. Het systeem was geprogrammeerd om dat alleen te doen als een botsing volledig te voorkomen was. Een keuze die vermoedelijk gemaakt was om ongemak van actie bij valse positieven te voorkomen. Timothy Lee van Arstechnica noemt die afweging ‘sociopathisch’. Volgens Alex Hern van The Guardian is de belangrijkst ethische afweging voor fabrikanten de vrees dat als je bij tests veiligheid vooropstelt concurrenten eerder een marktrijp product kunnen ontwikkelen. Toen de bestuurder van een Tesla op autopilot omkwam, zou voormalig Uber-baas Anthony Lewandowski zelfs tegen zijn medewerkers gezegd hebben dat hij ‘boos was dat wij niet het eerste dodelijke ongeval hadden.’

Ondertussen slaat China een andere weg in op het gebied van zelfrijdende auto’s. In plaats van de auto’s aan te passen aan de omgeving, maakt China hele wijken driverless-proof. Wegen worden er een soort omheinde spoorbanen, waar fabrikanten niet meer aansprakelijk zijn. Daar zijn programmeerkeuzes als die van Uber wél te verdedigen. Dat lijken de plekken waar grootschalig autonoom rijden voor het eerst te bewonderen zal zijn.

Ontvang de nieuwsbrief, binnenkort 2 keer per week

Meld je nu aan!

Gratis proefabonnement TW

Bestel nu 2 gratis proefnummers TW