Škole širom zemlje se bore sa tim kako da zaštite svoje učenike, ali srednju školu u Massachusetts se nada da će AI pomoći u sprečavanju budućeg nasilja. Srednja tehnička škola Shawsheen Valley odlučila je da postane partner Social Sentinel, kompanija za analizu podataka koja tvrdi da je u stanju da otkrije potencijalno nasilno ponašanje u onlajn aktivnostima učenika pre nego što se bilo šta nasilno ili opasno zaista dogodi. U idealnom slučaju, program će moći da identifikuje rizične učenike, slično tehnologiji koju koristi policija da pomogne u praćenju potencijalno opasnih učenika.
Prema osnivaču i izvršnom direktoru Social Sentinela, Geriju Margolisu, AI program ima biblioteka od 450.000 nasilnih indikatora — uključujući peva o depresiji, ogorčenosti i izolaciji. Kompanija je takođe radila sa lingvistima i psiholozima kako bi se uverila da će program moći da prepozna bilo koje ponašanje na društvenim mrežama ili na mreži koje može ukazivati na to da učenik planira da sebi naudi ili drugi.
„Vratili smo se, na primer, i pogledali jezik koji su školski strelci, kao jedan primer, koristili u prošlosti u razni manifesti - ono što je objavljeno ili što su podelili na društvenim medijima", rekla je Margolis za javni radio Bostona WBUR. „I želimo da razumemo sličnosti i obrasce. I možemo naučiti kompjutere, u određenoj meri, kako da identifikuju neke od tih nijansi."
Ali dok je Margolis uveren u sposobnosti programa, mnogi stručnjaci su kritični prema programu koji prati aktivnosti učenika na mreži kako bi pokušao da prepozna „nasilno“ ponašanje pre nego što nasilje zaista nastupi mesto. Osim očiglednih izazova pravilnog definisanja šta se tačno može računati kao pokazatelj nasilja, mnogi vide celu ovu stvar kao invazivnu i neadekvatan izgovor da se učenici primoraju da se odreknu svog prava na privatnost.
„Ovo je proširenje sposobnosti škola da kontrolišu ono što učenici rade u školi ili na kampusu do svojih ponašanje van škole“, rekla je Kejd Krokford, direktorka Programa za tehnologiju za slobodu pri ACLU u Masačusetsu WBUR. „U mnogim slučajevima širom zemlje, škole su koristile alate za nadzor društvenih medija na načine koji su štetili, posebno, obojenim učenicima. Tako da svakako imamo zabrinutost zbog ovakvih tehnologija koje se koriste za proširenje onoga što nazivamo cevovodom od škole do zatvora.
