Utanför alla slags verkliga sammanhang är ansiktsigenkänningsteknik cool på ett slags sci-fi, vi-lever-i-framtiden på ett sätt. Men en rapport från Reuters om användningen av ansiktsigenkänning i 200 Rite Aid-butiker – en av de största implementeringarna i USA – visar att det i sammanhanget är tecken på en framtid ingen som är intresserad av rättvisa ska vara upphetsad över.
Rite Aid använde olika leverantörer och utrustning under sina ansträngningar för ansiktsigenkänning, men det fungerade alltid på samma sätt. Kameror fångade kunders ansikten och jämförde dem med en databas med bilder av ansikten som tillhörde personer som företaget "tidigare hade observerat engagera sig i potentiell kriminell verksamhet.”
När en matchning gjordes pingade programvaran en smartphone som innehas av butikens säkerhetsagent. De skulle granska matchen och, om korrekt, be personen i fråga att lämna.
Även om det fungerade perfekt och implementerades rättvist, skulle systemet vara problematiskt. Det vilar på ett antagande om att någon som snattat år tidigare förtjänar att bli borttagen från en butik idag. Det ger också företag möjligheten att kasta ut människor från sina butiker baserat på information de kontrollerar, vilket också är oroande.
Och i praktiken fungerade inte ansiktsigenkänning på Rite Aid perfekt och implementerades inte rättvist.
Tio säkerhetsagenter som pratade med Reuters var alla överens om att systemet regelbundet felidentifierade personer, och det finns indikationer på att programvaran var mindre effektiv – och därför mer en risk för – människor Färg.
Reuters hittade en Rite Aid-kund, Tristan Jackson-Stankunas, som blev ombedd att lämna en butik i Kalifornien av en säkerhetsagent baserat på en matchning med ett foto som han säger, med undantag av det faktum att det visade en svart man, inte såg ut som honom.
"Det tar inte upp svarta människor bra", sa en säkerhetsagent vid en Detroit Rite Aid. "Om dina ögon är på samma sätt, eller om du bär ditt pannband som en annan person har ett pannband, kommer du att få en träff."
Och även utöver mjukvarans brister var Rite Aids implementering av ansiktsigenkänning oproportionerligt centrerad på färggemenskaper, vad de bekanta kallade "tuffare", "tuffaste" eller "värsta" områden. Femtiotvå av de 65 butikerna i företagets första stora utrullning av tekniken var i områden där den största gruppen var Black eller Latino.
Till exempel fick en butik på Manhattans vita, rikare Upper West Side inte ansiktsigenkänning medan en i Harlem, bara två mil bort, gjorde det. Detta trots att en intern granskning fann att båda högintjänande butikerna hade lika stor risk för förluster.
Rite Aid för sin del insisterar på att ansiktsigenkänningsprogrammet "inte hade något med ras att göra och var avsett att avskräcka stöld och skydda personal och kunder från våld.” Det stod också att programmet avbröts mitt i "en större industri konversation."
"Andra stora teknikföretag verkar minska eller ompröva sina ansträngningar kring ansiktsigenkänning med tanke på den ökande osäkerheten kring teknikens nytta", sade företaget och försummade att kommentera hur dess implementering och inte bara tekniken i sig kan ha bidragit till misslyckandet av programmet.