Utenfor enhver form for virkelighetskontekst er ansiktsgjenkjenningsteknologi kult i en slags sci-fi, vi-lever-i-fremtiden på en måte. Men en Reuters-rapport om bruken av ansiktsgjenkjenning i 200 Rite Aid-butikker – en av de største implementeringene i USA – viser at det i sammenheng er indikerer en fremtid ingen som er interessert i rettferdighet bør være begeistret for.
Rite Aid brukte forskjellige leverandører og utstyr i løpet av ansiktsgjenkjenningsarbeidet, men det fungerte alltid på samme måte. Kameraer fanget kundenes ansikter og sammenlignet dem med en database med bilder av ansikter som tilhørte personer som selskapet "tidligere hadde observert engasjere seg i potensiell kriminell aktivitet.”
Når en kamp ble gjort, pinget programvaren en smarttelefon holdt av butikkens sikkerhetsagent. De ville gjennomgå kampen og, hvis nøyaktig, be vedkommende om å forlate.
Selv om det fungerte perfekt og ble implementert rettferdig, ville systemet være problematisk. Det hviler på en antakelse om at en som har tyvet år tidligere fortjener å bli fjernet fra en butikk i dag. Det gir også bedrifter muligheten til å kaste ut folk fra butikkene sine basert på informasjon de kontrollerer, noe som også er urovekkende.
Og i praksis fungerte ikke ansiktsgjenkjenning hos Rite Aid perfekt og ble ikke implementert rettferdig.
Ti sikkerhetsagenter som snakket med Reuters var alle enige om at systemet regelmessig feilidentifiserte personer, og det er indikasjoner på at programvaren var mindre effektiv – og derfor mer en risiko for – folk av farge.
Reuters fant en Rite Aid-kunde, Tristan Jackson-Stankunas, som ble bedt om å forlate en butikk i California av en sikkerhetsagent basert på en kamp med et bilde som han sier, med unntak av det faktum at det viste en svart mann, lignet ingenting ham.
"Det fanger ikke svarte mennesker godt," sa en sikkerhetsagent ved en Detroit Rite Aid. "Hvis øynene dine er på samme måte, eller hvis du bærer pannebåndet ditt som en annen person har på seg et pannebånd, kommer du til å få et treff."
Og selv utover mangelen på programvaren, var Rite Aids implementering av ansiktsgjenkjenning uforholdsmessig sentrert om fargesamfunn, det de kjente kalte «tøffere», «tøffeste» eller "verste" områder. Femtito av de 65 butikkene i selskapets første store utrulling av teknologien var i områder der den største gruppen var Black eller Latino.
For eksempel fikk ikke en butikk på Manhattans hvite, rikere Upper West Side ansiktsgjenkjenning mens en i Harlem, bare to mil unna, gjorde det. Dette til tross for at en intern gjennomgang fant at begge de høyttjenende butikkene hadde like stor risiko for tap.
Rite Aid på sin side insisterer på at ansiktsgjenkjenningsprogrammet «ikke hadde noe med rase å gjøre og var ment å avskrekke tyveri og beskytte ansatte og kunder mot vold.» Den sa også at programmet ble avviklet midt i «en større industri samtale."
"Andre store teknologiselskaper ser ut til å trappe ned eller revurdere innsatsen rundt ansiktsgjenkjenning gitt økende usikkerhet rundt teknologiens nytte," sa selskapet, og unnlot å kommentere hvordan implementeringen og ikke bare teknologien i seg selv kan ha bidratt til feilen i programmet.
