Uden for enhver form for kontekst i den virkelige verden er ansigtsgenkendelsesteknologi cool i en slags sci-fi, vi-lever-i-fremtiden på en måde. Men en rapport fra Reuters om brugen af ansigtsgenkendelse i 200 Rite Aid-butikker - en af de største implementeringer i USA - viser, at det i sammenhæng er tegn på en fremtid ingen interesseret i retfærdighed bør være begejstret for.
Rite Aid brugte forskellige leverandører og udstyr i løbet af sin ansigtsgenkendelsesindsats, men det fungerede altid på samme måde. Kameraer fangede kunders ansigter og sammenlignede dem med en database med billeder af ansigter tilhørende personer, som virksomheden "tidligere havde observeret at engagere sig i potentiel kriminel aktivitet.”
Da et match blev lavet, pingede softwaren en smartphone, som butikssikkerhedsagenten holdt. De ville gennemgå kampen og, hvis det var nøjagtigt, bede den pågældende om at forlade.
Selvom det fungerede perfekt og blev implementeret retfærdigt, ville systemet være problematisk. Det hviler på en antagelse om, at en person, der har stjålet flere år tidligere, fortjener at blive fjernet fra en butik i dag. Det giver også virksomheder mulighed for at skubbe folk ud af deres butikker baseret på information, de kontrollerer, hvilket også er bekymrende.
Og i praksis fungerede ansigtsgenkendelse hos Rite Aid ikke perfekt og blev ikke implementeret retfærdigt.
Ti sikkerhedsagenter, der talte med Reuters, var alle enige om, at systemet regelmæssigt fejlidentificerede personer, og der er indikationer på, at softwaren var mindre effektiv - og derfor mere en risiko for - mennesker farve.
Reuters fandt en Rite Aid-kunde, Tristan Jackson-Stankunas, som blev bedt om at forlade en butik i Californien af en sikkerhedsagent baseret på et match med et billede, som han siger, med undtagelse af det faktum, at det viste en sort mand, ikke lignede Hej M.
"Det opfanger ikke sorte mennesker godt," sagde en sikkerhedsagent ved en Detroit Rite Aid. "Hvis dine øjne er på samme måde, eller hvis du bærer dit pandebånd, som en anden person har et pandebånd på, vil du få et hit."
Og selv ud over softwarens utilstrækkelighed var Rite Aids implementering af ansigtsgenkendelse uforholdsmæssigt centreret om farvefællesskaber, hvad de bekendte kaldte "hårdere", "hårdeste" eller "værste" områder. 52 af de 65 butikker i virksomhedens første store udrulning af teknologien var i områder, hvor den største gruppe var Black eller Latino.
For eksempel fik en butik på Manhattans hvide, rigere Upper West Side ikke ansigtsgenkendelse, mens en i Harlem, kun to miles væk, gjorde det. Dette til trods for, at en intern gennemgang fandt, at begge højindtjenende butikker havde lige stor risiko for tab.
Rite Aid insisterer på sin side, at ansigtsgenkendelsesprogrammet "intet havde med race at gøre og havde til formål at afskrække tyveri og beskytte personale og kunder mod vold.” Det sagde også, at programmet blev afbrudt midt i "en større industri samtale."
"Andre store teknologivirksomheder ser ud til at skrue ned eller genoverveje deres indsats omkring ansigtsgenkendelse på grund af stigende usikkerhed omkring teknologiens nytte," sagde virksomheden og undlod at kommentere, hvordan dens implementering og ikke kun teknologien i sig selv kunne have bidraget til fejlen i programmet.
