Di luar konteks dunia nyata apa pun, teknologi pengenalan wajah adalah keren dalam semacam sci-fi, kita hidup di masa depan. Tetapi laporan Reuters tentang penggunaan pengenalan wajah di 200 toko Rite Aid — salah satu implementasi terbesar di Amerika Serikat — menunjukkan bahwa dalam konteks itu indikasi masa depan tidak ada yang tertarik pada keadilan harus bersemangat.
Rite Aid menggunakan vendor dan peralatan yang berbeda selama upaya pengenalan wajah, tetapi selalu bekerja dengan cara yang sama. Kamera menangkap wajah pelanggan dan membandingkannya dengan database gambar wajah milik orang-orang yang sebelumnya telah diamati perusahaan terlibat dalam potensi kegiatan kriminal.”
Ketika kecocokan dibuat, perangkat lunak melakukan ping ke smartphone yang dipegang oleh agen keamanan toko. Mereka akan meninjau pertandingan dan, jika akurat, meminta orang yang bersangkutan untuk pergi.
Bahkan jika itu bekerja dengan sempurna dan diterapkan secara adil, sistemnya akan bermasalah. Itu didasarkan pada asumsi bahwa seseorang yang mengutil bertahun-tahun sebelumnya layak untuk dikeluarkan dari toko hari ini. Ini juga memberi perusahaan kemampuan untuk mengeluarkan orang dari toko mereka berdasarkan informasi yang mereka kendalikan, yang juga meresahkan.
Dan dalam praktiknya, pengenalan wajah di Rite Aid tidak berjalan dengan sempurna dan tidak diterapkan secara adil.
Sepuluh agen keamanan yang berbicara dengan Reuters semuanya setuju bahwa sistem secara teratur salah mengidentifikasi orang, dan ada indikasi bahwa perangkat lunak itu kurang efektif — dan oleh karena itu lebih berisiko bagi — orang-orang dari warna.
Reuters menemukan satu pelanggan Rite Aid, Tristan Jackson-Stankunas, yang diminta untuk meninggalkan toko California oleh agen keamanan berdasarkan kecocokan dengan foto yang dia katakan, dengan pengecualian fakta bahwa itu menunjukkan seorang pria kulit hitam, tidak terlihat seperti dia.
"Itu tidak menangkap orang kulit hitam dengan baik," kata seorang agen keamanan di Detroit Rite Aid. “Jika mata Anda sama, atau jika Anda mengenakan ikat kepala seperti orang lain yang mengenakan ikat kepala, Anda akan mendapat pukulan.”
Dan bahkan di luar kekurangan perangkat lunak, implementasi pengenalan wajah Rite Aid adalah secara tidak proporsional berpusat pada komunitas warna, apa yang mereka kenal disebut "lebih tangguh," "paling tangguh," atau daerah "terburuk". Lima puluh dua dari 65 toko dalam peluncuran besar pertama perusahaan teknologi berada di area di mana kelompok terbesar adalah Hitam atau Latin.
Misalnya, sebuah toko di Upper West Side yang putih dan lebih kaya di Manhattan tidak mendapatkan pengenalan wajah sementara toko di Harlem, hanya dua mil jauhnya, mendapatkannya. Ini terlepas dari fakta bahwa tinjauan internal menemukan kedua toko berpenghasilan tinggi memiliki risiko kerugian yang sama.
Untuk bagiannya, Rite Aid menegaskan bahwa program pengenalan wajah “tidak ada hubungannya dengan ras dan dimaksudkan untuk mencegah pencurian. dan melindungi staf dan pelanggan dari kekerasan.” Dikatakan juga bahwa program tersebut dihentikan di tengah “industri yang lebih besar” percakapan."
“Perusahaan teknologi besar lainnya tampaknya mengurangi atau memikirkan kembali upaya mereka seputar pengenalan wajah mengingat meningkatnya ketidakpastian seputar utilitas teknologi," kata perusahaan, mengabaikan untuk mengomentari bagaimana implementasinya dan bukan hanya teknologi itu sendiri yang mungkin berkontribusi pada kegagalan program.
