Nissewaard – De gemeente Nissewaard stopt met het gebruik van een algoritme als hulpmiddel om rechtmatigheid van bijstandsuitkeringen vast te stellen. Onderzoek door TNO wijst uit dat het algoritme technisch gezien mankementen vertoont. Na de eerste signalen van TNO hierover is het gebruik al voorlopig gestaakt. De gemeente benadrukt dat geen enkele burger op enige wijze is benadeeld.
Nissewaard vroeg TNO om onderzoek
Nissewaard heeft TNO gevraagd om onderzoek te doen naar het algoritme dat de gemeente gebruikt ter ondersteuning van rechtmatigheidsonderzoeken van bijstandsuitkeringen. Het onderzoek is in juni 2021 door TNO afgerond en het rapport is opgeleverd aan de gemeente Nissewaard. Met dit onafhankelijk en grondig onderzoek wil de gemeente extra transparantie bieden richting inwoners en tegelijk controleren of het systeem naar behoren functioneert, met inachtneming van alle juridische en ethische waarden.
Hoofdconclusie TNO
De hoofdconclusie van TNO in het eindrapport is dat Nissewaard en bouwer van het algoritme, Totta Data Lab, duidelijk aandacht hebben besteed aan verschillende aspecten van verantwoord gebruik, maar dat het algoritme in de huidige vorm van onvoldoende niveau is om verantwoord in te kunnen zetten. Gedurende het TNO onderzoek was door de gemeente al op de pauzeknop gedrukt op basis van de eerste (concept)resultaten, maar nu is door de gemeente besloten om te stoppen met het gebruik van het algoritme van Totta Data Lab. Het algoritme presteert technisch onvoldoende volgens de richtlijnen die door de Europese Commissie en de Rijksoverheid zijn opgesteld.
Op twee punten onvoldoende
Op een tweetal punten presteert het algoritme onvoldoende volgens TNO. De auditeerbaarheid ervan is gebrekkig. Dit betekent dat het in de huidige vorm niet goed mogelijk is om te controleren of het voldoet aan inhoudelijke en procedurele eisen. Ook de mogelijkheid om de doeltreffendheid van het algoritme vanuit een technisch oogpunt te onderzoeken is niet voldoende.
Niet robuust genoeg
De oorzaak voor beide punten is dat de resultaten van het AI-algoritme niet robuust genoeg zijn. Dit betekent dat het invoeren van dezelfde data niet altijd hetzelfde resultaat geeft. Deze constatering is van belang, omdat de gemeente deze scores gebruikt voor het kiezen van de te onderzoeken dossiers door ambtenaren. De bovengenoemde bevindingen zijn in het rapport van TNO meer in detail uitgewerkt en toegelicht.
Geen effect gehad op uitkomst
Het gebruik van het algoritme heeft geen effect gehad op de uitkomst van de rechtmatigheidsonderzoeken. Het algoritme heeft altijd alleen het voorwerk gedaan. Er zijn geen uitkeringen beëindigd of aangepast alleen door het resultaat van het algoritme. De onderzoeken die op basis van de uitkomsten van de formule zijn gedaan verlopen hetzelfde als bij andere signalen die de gemeente ontvangt, zoals meldingen van inwoners en instanties.
Eindverantwoording altijd bij mensen
Alle onderzoeken worden altijd door mensen uitgevoerd, dat wil zeggen door daarvoor opgeleide medewerkers. De mens draagt altijd verantwoordelijkheid en neemt de uiteindelijke besluiten. Derhalve is ook met zekerheid te zeggen dat niemand is benadeeld door het gebruik van het algoritme, noch is er maatschappelijk gezien schade ontstaan. Op de balans staan aan de ene kant de kosten die hiermee gemoeid zijn, aan de andere kant is waardevolle ervaring opgedaan met een ontwikkeling in modern procesmanagement die nog lang zal doorgaan.
Geautomatiseerd algoritme
Geautomatiseerde algoritmes zijn van nature complex en lastig uit te leggen. De gemeente heeft zo veel mogelijk openheid gegeven over de data die de formule gebruikt, hoe het proces eruit ziet, en hoe de formule aan de achterkant werkt. In het rapport komt dan ook naar voren dat de gemeente Nissewaard duidelijk aandacht heeft besteed aan verschillende aspecten van verantwoord gebruik van algoritmes, zoals datagebruik, non-discriminatie, transparantie, verantwoording, uitlegbaarheid en publieksvoorlichting.
Niet zomaar ingezet
De gemeente heeft dit algoritme ook niet zomaar ingezet. Het belang van het onderzoek is daarnaast ook niet enkel het belang van Nissewaard. Een klankbordgroep waarin de gemeenten Amersfoort, Deventer en Nissewaard, de VNG en de Landelijke Cliëntenraad deelnemen kwamen bij elkaar om de voortgang van het project te bespreken en om suggesties te geven voor het vervolg van het project.
In theorie veel voordelen
“We hebben een modern hulpmiddel ingezet dat in theorie heel veel voordelen oplevert. We hebben er alles aan gedaan om dit middel open en zorgvuldig te gebruiken. Helaas blijkt uit onderzoek dat dit algoritme nog niet goed genoeg is om verder mee te gaan en daarom stoppen wij hiermee. Het benadrukt nog eens hoe belangrijk het is dat gemeenten de verantwoordelijkheid nemen om dit soort systemen goed op orde te hebben. In de toekomst blijven we adequate stappen zetten om onze processen verder te vernieuwen”, aldus wethouder Igor Bal.
Raad geïnformeerd
De raad is op 5 juli over deze ontwikkelingen geïnformeerd. Na de zomer zal het college een voorstel aan de raad doen over de wijze waarop in de toekomst onrechtmatigheden bij uitkeringen adequaat kunnen worden opgespoord. Nissewaard telt op dit moment 2311 bijstandsuitkeringen. Onderzoek naar de rechtmatigheid is een gemeentelijke taak die is vastgelegd in de Participatiewet.
