Maar het ‘roekeloze’ onvermogen van de keten om veiligheidsmaatregelen in te voeren, in combinatie met de lange geschiedenis van de technologie van onnauwkeurige matches en racistische vooroordelen, leidde er uiteindelijk toe dat winkelmedewerkers het winkelend publiek valselijk beschuldigden van diefstal, wat leidde tot ‘schaamte, intimidatie en andere schade’ in het bijzijn van hun klanten. familieleden, collega’s en vrienden, zei de FTC in een stelling.

In één geval zocht een medewerker van Ceremony Help een 11-jarig meisje vanwege een valse gezichtsherkenningsmatch, waardoor ze zo radeloos werd dat haar moeder haar werk miste, zei de FTC in een klacht bij de federale rechtbank. In een ander geval belden werknemers de politie voor een zwarte klant nadat de technologie haar aanzag voor het eigenlijke doelwit, een blanke vrouw met blond haar.

Ceremony Help zei in een stelling dat het gezichtsherkenning slechts in “een beperkt aantal winkels” gebruikte en dat het het proefprogramma ruim drie jaar geleden had beëindigd, voordat het onderzoek van de FTC begon.

Als onderdeel van een schikking stemde het bedrijf ermee in de technologie vijf jaar lang niet te gebruiken, de gezichtsbeelden die het had verzameld te verwijderen en de FTC jaarlijks te informeren over de naleving ervan, aldus de FTC.

“We respecteren het onderzoek van de FTC en sluiten ons aan bij de missie van het agentschap om de privateness van consumenten te beschermen”, aldus het bedrijf.

Het systeem van Ceremony Help scande de gezichten van binnenkomende klanten en zocht naar overeenkomsten in een grote database van vermoedelijke en bevestigde winkeldieven, aldus de FTC. Wanneer het systeem een ​​match detecteert, waarschuwt het winkelpersoneel om de klant nauwlettend in de gaten te houden.

Maar de database bevatte afbeeldingen met een lage resolutie afkomstig van korrelige bewakingscamera’s en mobiele telefoons, wat de kwaliteit van de wedstrijden ondermijnde, aldus de FTC. Deze oneigenlijke overeenkomsten zouden werknemers er vervolgens toe aanzetten om klanten door de winkel te volgen of de politie te bellen, zelfs als ze geen misdaad hadden gezien.

Ceremony Help vertelde klanten niet dat het de technologie gebruikte, zei de FTC, en droeg medewerkers op om het gebruik ervan niet bekend te maken aan ‘consumenten of de media’. De FTC zei dat Ceremony Help een contract heeft gesloten met twee bedrijven om te helpen bij het opzetten van de database van ‘personen van belang’, die tienduizenden afbeeldingen bevatte. Deze bedrijven zijn niet geïdentificeerd.

De FTC zei dat grote fouten aan de orde van de dag waren. Tussen december 2019 en juli 2020 genereerde het systeem rond dezelfde tijd meer dan 2.000 ‘matchalerts’ voor dezelfde persoon in verre winkels, ook al waren de situation’s ‘onmogelijk of onwaarschijnlijk’, aldus de FTC.

In één geval genereerde het systeem van Ceremony Help meer dan 900 “match alerts” voor één persoon gedurende een periode van vijf dagen in 130 verschillende winkels, waaronder in Seattle, Detroit en Norfolk, aldus toezichthouders.

Het systeem genereerde duizenden valse overeenkomsten, en bij veel daarvan waren de gezichten van vrouwen, zwarte mensen en Latino’s betrokken, aldus de FTC. Federaal En onafhankelijk onderzoekers hebben de afgelopen jaren ontdekt dat het waarschijnlijker is dat deze groepen verkeerd worden geïdentificeerd door gezichtsherkenningssoftware, hoewel de boosters van de technologie zeggen dat de systemen sindsdien zijn verbeterd.

Ceremony Help gaf ook prioriteit aan de inzet van de technologie in winkels die voornamelijk door gekleurde mensen worden gebruikt, aldus de FTC. Hoewel ongeveer 80 procent van de winkels van Ceremony Help zich in “pluraliteit-witte” gebieden bevindt, ontdekte de FTC dat de meeste winkels die het gezichtsherkenningsprogramma gebruikten, zich in “pluraliteit niet-blanke gebieden” bevonden.

De valse beschuldigingen zorgden ervoor dat veel buyers het gevoel kregen dat ze racistisch geprofileerd waren. In een door de FTC aangehaalde notitie schreef een klant aan Ceremony Help dat de ervaring van het tegenhouden door een medewerker ‘emotioneel schadelijk’ was geweest. “Elke zwarte man is geen dief, en hij magazine zich ook niet zo voelen”, schreef de naamloze klant.

De FTC zei dat het gebruik van de technologie door Ceremony Help in strijd was met a bevel tot gegevensbeveiliging in 2010 maakte het deel uit van een FTC-schikking die werd aangespannen nadat bleek dat de werknemers van de apotheekketen de gezondheidsdossiers van mensen in open vuilnisbakken hadden gegooid. Ceremony Help zal een robuust informatiebeveiligingsprogramma moeten implementeren, waarop toezicht moet worden gehouden door de topmanagers van het bedrijf.

De actie van de FTC zou een rimpeleffect kunnen veroorzaken bij de andere grote winkelketens in de Verenigde Staten die gezichtsherkenningstechnologie nastreven, zoals Dwelling Depot, Macy’s en Albertsons, aldus een “rating kaart”door Combat for the Future, een belangenorganisatie.

Evan Greer, de directeur van de groep, zei in een verklaring: “De boodschap aan het Amerikaanse bedrijfsleven is duidelijk: cease nu met het gebruik van discriminerende en invasieve gezichtsherkenning, of bereid je voor om de prijs te betalen.”

FTC-commissaris Alvaro Bedoya, die voordat hij vorig jaar bij de FTC kwam, een Georgetown Legislation-onderzoekscentrum oprichtte gezichtsherkenning kritisch onderzochtzei in a stelling dat de Ceremony Help-zaak “onderdeel was van een bredere development van algoritmische oneerlijkheid” en riep bedrijfsleiders en federale wetgevers op om de manier waarop “biometrische surveillance” -instrumenten op klanten en werknemers worden gebruikt, te verbieden of te beperken.

“Er zijn een aantal beslissingen die helemaal niet geautomatiseerd mogen worden; Veel technologieën zouden überhaupt nooit mogen worden ingezet”, zegt Bedoya schreef. “Ik dring er bij wetgevers die meer bescherming willen zien tegen biometrische surveillance op aan om die bescherming in wetgeving op te nemen en in de moist om te zetten.”

Pleasure Buolamwini, een AI-onderzoeker die dat wel heeft gedaan bestudeerd Gezien de raciale vooroordelen van gezichtsherkenning was de Ceremony Help-zaak een “dringende herinnering” dat het onvermogen van het land om alomvattende privacywetten in te voeren de Amerikanen kwetsbaar had gemaakt voor risicovolle experimenten op het gebied van openbaar toezicht.

“Dit zijn de soorten gezond verstand-beperkingen die al lang op komst zijn om het publiek te beschermen tegen de roekeloze adoptie van surveillancetechnologieën”, zei ze in een sms-bericht. “Het gezicht is de laatste grens van privateness en het is nu meer dan ooit van cruciaal belang dat we vechten voor onze biometrische rechten, van luchthavens tot drogisterijen, scholen en ziekenhuizen.”