Skolor över hela landet kämpar med hur man kan hålla sina elever säkra, men en gymnasieskola i Massachusetts hoppas att AI kommer att bidra till att förhindra framtida våld. Shawsheen Valley Technical High School har beslutat att samarbeta med Social Sentinel, ett dataanalysföretag som hävdar att det kan upptäcka potentiellt våldsamt beteende i elevers onlineaktivitet innan något våldsamt eller farligt faktiskt händer. Helst kommer programmet att kunna identifiera elever i riskzonen, liknande teknik som används av polisen för att övervaka potentiellt farliga elever.
Enligt Social Sentinels grundare och VD, Gary Margolis, har AI-programmet ett bibliotek med 450 000 våldsindikatorer — inklusive sjunger om depression, förbittring och isolering. Företaget arbetade också med lingvister och psykologer för att se till att programmet skulle kunna känna igen alla sociala medier eller onlinebeteende som kan tyda på att en elev planerar att skada sig själv eller andra.
”Vi gick tillbaka till exempel och tittade på språket som skolskyttar, som ett exempel, har använt tidigare i olika manifest – vad som har publicerats eller som de har delat på sociala medier, säger Margolis till Boston public radio WBUR. ”Och vi vill förstå likheter och mönster. Och vi kan till viss del lära datorer hur man identifierar en del av den nyansen."
Men medan Margolis är säker på programmets förmågor, är många experter kritiska till ett program som övervakar elevens onlineaktivitet för att försöka känna igen "våldsamt" beteende innan våldet faktiskt tar plats. Utöver de uppenbara utmaningarna med att korrekt definiera vad som exakt kan räknas som en indikator på våld, är många se hela det här som invasivt och en otillräcklig ursäkt för att tvinga elever att ge upp sin rätt till privatliv.
"Detta är en utökning av skolornas förmåga att kontrollera vad elever gör i skolan eller på campus till deras uppförande utanför skolan, säger Kade Crockford, chef för Technology for Liberty-programmet vid ACLU i Massachusetts. WBUR. "I många fall över hela landet har skolor använt verktyg för övervakning av sociala medier på ett sätt som har skadat, särskilt, färgade elever. Så vi har verkligen oro över att teknik som denna används för att utöka det vi kallar pipeline från skola till fängelse."