Skoler over hele landet sliter med hvordan holde elevene trygge, men en videregående skole i Massachusetts håper at AI vil bidra til å forhindre fremtidig vold. Shawsheen Valley Technical High School har bestemt seg for å samarbeide med Sosial Sentinel, et dataanalyseselskap som hevder det er i stand til å oppdage potensielt voldelig atferd i elevenes nettaktivitet før noe voldelig eller farlig faktisk skjer. Ideelt sett vil programmet være i stand til å identifisere utsatte studenter, lik teknologi som brukes av politiet for å overvåke potensielt farlige studenter.
Ifølge Social Sentinel grunnlegger og administrerende direktør, Gary Margolis, har AI-programmet et bibliotek med 450 000 voldelige indikatorer - inkludert synger om depresjon, harme og isolasjon. Selskapet jobbet også med lingvister og psykologer for å sikre at programmet kunne gjenkjennes sosiale medier eller nettadferd som kan indikere at en student planlegger å skade seg selv eller andre.
«Vi gikk for eksempel tilbake og så på språket som skoleskyttere, som et eksempel, har brukt tidligere i forskjellige manifester - hva som er publisert eller som de har delt på sosiale medier, sa Margolis til Boston public radio WBUR. «Og vi ønsker å forstå likheter og mønstre. Og vi kan til en viss grad lære datamaskiner hvordan de kan identifisere noe av denne nyansen.»
Men mens Margolis er trygg på programmets evner, er mange eksperter kritiske til et program som overvåker studentens nettaktivitet for å prøve å gjenkjenne "voldelig" oppførsel før volden faktisk tar til plass. Utover de åpenbare utfordringene med å definere nøyaktig hva som kan regnes som en indikator på vold, er det mange se hele denne greia som invasiv og en utilstrekkelig unnskyldning for å tvinge studenter til å gi opp retten til privatliv.
"Dette er en utvidelse av skolens evne til å overvåke hva elevene gjør inne på skolen eller på campus til deres oppførsel utenfor skolen, sa Kade Crockford, direktør for Technology for Liberty-programmet ved ACLU i Massachusetts. WBUR. "I mange tilfeller over hele landet har skoler brukt overvåkingsverktøy for sosiale medier på måter som har skadet, spesielt fargede elever. Så vi er absolutt bekymret for at teknologier som dette brukes til å utvide det vi kaller skole-til-fengsel-rørledningen.»