A holland kormány a hátrányos megkülönböztetés fenntartását és megerősödését kockáztatja a közszférában egy szabályozatlan algoritmus miatt – áll az Amnesty International családtámogatási botrányról szóló jelentésében.
Az Idegengyűlölő gépek című jelentés bemutatja, hogy a családtámogatási csalások kiszűrésére létrehozott algoritmus etnikai profilalkotást folytat. Több tízezer, elsősorban szegény szülőt és gondozót (sokan közülük etnikai csoportok tagjai) vádolt meg alaptalanul a holland adóhatóság csalással. Miközben a botrányba a holland kormány januárban belebukott, a vizsgálatok ellenére érdemi változás a mai napig nem történt.
“Egy etnikai profilalkotást végző idegengyűlölő algoritmusnak köszönhetően több ezer ember életét tette tönkre ez a méltatlan eljárás. A holland hatóságok minden egyes nappal egy újabb botrányt kockáztatnak, mindaddig ameddig nem hajlandóak emberi jogi garanciákat beépíteni a rendszerbe.” – mondta Merel Koning, az Amnesty International Technológia és Emberi Jogok programjának a tanácsadója.
“Sajnos a hollandok nincsenek egyedül. A kormányok észveszejtő tempóban igyekeznek automatizálni a közszolgáltatásokat, de ennek a legtöbbször a már eleve marginalizált társadalmi csoportok isszák meg a levét.”
Az Amnesty felszólítja a kormányokat, hogy a bűncselekmények illetve csalások felderítése érdekében alkalmazott kockázatelemzéskor ne használják az állampolgárságra és etnikai hovatartozásra utaló személyes adatokat.
A diszkrimináció spirálja
A 2013-as bevezetésétől kezdve az etnikai alapú negatív diszkrimináció integráns része volt annak a holland adóhatóság által használt algoritmusnak, amely a jogosulatlan családtámogatás igényléseket és a potenciális csalásokat hivatott kiszűrni. Az algoritmus rizikófaktorként vette figyelembe az állampolgárságot: a nem hollandokat a magasabb kockázati kategóriába sorolta.
Akiket a rendszer “csalóként” azonosított, azoknak a támogatását felfüggesztették, vizsgálatoknak vetették őket alá, a pénzt pedig visszafizetették velük. Ez az érintett családok esetében szörnyű következményekkel járt: sokan eladósodtak, elvesztették a munkájukat, de olyanok is voltak, akiket kilakoltattak, mert képtelen voltak a bérleti díjat vagy a jelzáloghitelt fizetni. Sokak esetében a stressz és a mentális megterhelés váláshoz és családjuk szétszakadásához vezetett.
Az algoritmus a már meglévő, a bőrszín illetve etnikai hovatartozás és bűnözés kapcsolatán alapuló intézményi előítéleteket erősítette fel, illetve komplett etnikai csoportokat általánosított egy magatartással.
A hibás dizájnt a gépi tanulás csak tovább rontotta, érdemi emberi kontroll pedig nem volt felette. Ennek eredményeként a nem holland állampolgárokat mint potenciális csalókat sokkal gyakrabban jelezte a rendszer, mint a hollandokat.
A felelősség nem vállalása
Amikor valakit a rendszer potenciális “csalóként” jelzett, az adóhatóság egy munkatársának kellett volna felülvizsgálatot lefolytatnia, de az illető nem tudta, hogy a rendszer miért éppen azt az embert szűrte ki. Az átláthatatlan “feketedoboz” rendszer, ahol sem a bemenő adatok, sem a számítások nem láthatóak, ahhoz vezetett, hogy senkit nem vontak felelősségre.
“A rendszer feketedoboz működése a felelősségvállalás fekete lyukát hozta létre. A holland adóhatóság annyira bízott az algoritmusban, hogy nem rendeltek mellé hatékony emberi kontrollt.” – mondta Merel Koning.
Az adóhatóságot ráadásul arra buzdították, hogy függetlenül a “csalás vádjának” megalapozottságától, minél több támogatást függesszenek fel, ezzel is alátámasztva az algoritmus hatékonyságát. Azok pedig, akiket a rendszer “csalóként” azonosított évekig nem kaptak választ arra, mi rosszat tettek.
Az Idegengyűlölő gépek című jelentést az ENSZ Közgyűlés október 26-i ülésének egyik eseményén mutatjuk be. Az Amnesty idén egy új projektet is indít Algorithmic Accountability Lab néven, ennek a multidiszciplináris csapatnak az lesz a feladata, hogy a közszférában alkalmazott automatizált döntéshozatali rendszerek működését kutassa.
Az Amnesty International felszólítja a kormányokat, hogy:
- akadályozzák meg az automatizált döntéshozatali rendszerek által elkövetett jogsértéseket, például írjanak elő mindenképpen elvégzendő és kötelező emberi jogi fókuszú vizsgálatot az ilyen rendszerek alkalmazása előtt;
- létesítsenek hatékony ellenőrző mechanizmusokat a közszférában az algoritmusok ellenőrzésére;
- függesszék fel a “feketedoboz” rendszereket és a gépi tanulást az olyan döntéshozatali rendszerek esetében, amelyeknek komoly hatása van az emberi jogokra.
