Scholen in het hele land worstelen met hoe ze hun leerlingen veilig kunnen houden?, maar een middelbare school in Massachusetts hoopt dat AI toekomstig geweld zal helpen voorkomen. Shawsheen Valley Technical High School heeft besloten om samen te werken met Sociale Sentinel, een data-analysebedrijf dat beweert potentieel gewelddadig gedrag in de online activiteiten van studenten te detecteren voordat er daadwerkelijk iets gewelddadigs of gevaarlijks gebeurt. Idealiter zal het programma in staat zijn om risicostudenten te identificeren, vergelijkbaar met technologie die door de politie wordt gebruikt om potentieel gevaarlijke studenten te monitoren.
Volgens de oprichter en CEO van Social Sentinel, Gary Margolis, heeft het AI-programma: een bibliotheek van 450.000 gewelddadige indicatoren - inclusief zingt van depressie, wrok en isolement. Het bedrijf werkte ook samen met taalkundigen en psychologen om ervoor te zorgen dat het programma in staat zou zijn om te herkennen elk gedrag op sociale media of online dat erop kan wijzen dat een leerling van plan is zichzelf iets aan te doen of anderen.
“We zijn bijvoorbeeld teruggegaan en hebben gekeken naar de taal die schoolschutters bijvoorbeeld in het verleden hebben gebruikt in verschillende manifesten – wat er is gepubliceerd of dat ze op sociale media hebben gedeeld,” vertelde Margolis aan de openbare radio van Boston WBUR. “En we willen overeenkomsten en patronen begrijpen. En we kunnen computers tot op zekere hoogte leren hoe ze een deel van die nuance kunnen identificeren.”
Maar hoewel Margolis vertrouwen heeft in de mogelijkheden van het programma, zijn veel experts kritisch over een programma dat controleert de online activiteiten van leerlingen om te proberen "gewelddadig" gedrag te herkennen voordat geweld daadwerkelijk plaatsvindt plaats. Naast de voor de hand liggende uitdagingen om goed te definiëren wat precies kan worden beschouwd als een indicator van geweld, zijn veel zie deze hele zaak als invasief en een ontoereikend excuus om studenten te dwingen hun recht op privacy op te geven.
"Dit is een uitbreiding van het vermogen van de scholen om te controleren wat studenten op school of op de campus doen met hun gedrag buiten school,” vertelde Kade Crockford, directeur van het Technology for Liberty-programma bij de ACLU van Massachusetts WBUR. "In veel gevallen in het hele land gebruiken scholen surveillancetools voor sociale media op manieren die met name gekleurde studenten hebben geschaad. We maken ons dus zeker zorgen over het gebruik van dergelijke technologieën om de pijplijn van school naar gevangenis uit te breiden.”
