Skoler over hele landet kæmper med hvordan man holder deres elever trygge, men et gymnasium i Massachusetts håber, at kunstig intelligens vil hjælpe med at forhindre fremtidig vold. Shawsheen Valley Technical High School har besluttet at samarbejde med Social Sentinel, et dataanalysefirma, der hævder, at det er i stand til at opdage potentielt voldelig adfærd i elevernes onlineaktivitet, før der rent faktisk sker noget voldeligt eller farligt. Ideelt set vil programmet være i stand til at identificere udsatte studerende, svarende til teknologi, der bruges af politiet til at hjælpe med at overvåge potentielt farlige studerende.
Ifølge Social Sentinel grundlægger og administrerende direktør, Gary Margolis, har AI-programmet et bibliotek med 450.000 voldelige indikatorer - herunder synger om depression, vrede og isolation. Virksomheden arbejdede også med lingvister og psykologer for at sikre, at programmet ville kunne genkende sociale medier eller onlineadfærd, der kan indikere, at en elev planlægger at gøre skade på sig selv eller andre.
”Vi gik for eksempel tilbage og så på det sprog, som skoleskytter f.eks. tidligere har brugt i forskellige manifester - hvad der er blevet offentliggjort, eller som de har delt på sociale medier," sagde Margolis til Boston public radio WBUR. ”Og vi vil gerne forstå ligheder og mønstre. Og vi kan til en vis grad lære computere, hvordan man identificerer nogle af denne nuance.”
Men mens Margolis er sikker på programmets evner, er mange eksperter kritiske over for et program, der overvåger elevernes onlineaktivitet for at forsøge at genkende "voldelig" adfærd, før volden faktisk tager til placere. Ud over de åbenlyse udfordringer ved korrekt at definere, hvad der præcist kan tælles som en indikator for vold, er mange se det hele som invasivt og en utilstrækkelig undskyldning for at tvinge eleverne til at opgive deres ret til privatliv.
"Dette er en udvidelse af skolernes evne til at overvåge, hvad eleverne laver inde på skolen eller på campus til deres opførsel uden for skolen," fortalte Kade Crockford, direktør for Technology for Liberty-programmet ved ACLU i Massachusetts. WBUR. "I mange tilfælde over hele landet har skoler brugt sociale mediers overvågningsværktøjer på måder, der har skadet, specifikt farvede elever. Så vi er bestemt bekymrede over, at teknologier som denne bliver brugt til at udvide det, vi kalder skole-til-fængsel-pipeline.”