Školy po celej krajine s tým zápasia ako udržať svojich študentov v bezpečí, ale stredná škola v Massachusetts dúfa, že AI pomôže predchádzať násiliu v budúcnosti. Technická stredná škola Shawsheen Valley sa rozhodla nadviazať partnerstvo Sociálny Sentinel, spoločnosť zaoberajúca sa analýzou údajov, ktorá tvrdí, že dokáže odhaliť potenciálne násilné správanie v online aktivite študentov skôr, ako sa skutočne stane čokoľvek násilné alebo nebezpečné. V ideálnom prípade bude program schopný identifikovať rizikových študentov, podobne ako technológia používaná políciou na pomoc pri monitorovaní potenciálne nebezpečných študentov.
Podľa zakladateľa a generálneho riaditeľa Social Sentinel, Garyho Margolisa, program AI má knižnica 450 000 indikátorov násilia — vrátane prejavov depresie, odporu a izolácie. Spoločnosť tiež spolupracovala s lingvistami a psychológmi, aby zabezpečila, že program bude schopný rozpoznať akékoľvek správanie na sociálnych sieťach alebo online, ktoré by mohlo naznačovať, že študent si plánuje ublížiť alebo iní.
„Vrátili sme sa napríklad späť a pozreli sme sa na jazyk, ktorý školskí strelci ako jeden príklad používali v minulosti v rôzne manifesty – čo bolo zverejnené alebo čo zdieľali na sociálnych médiách,“ povedal Margolis pre verejný rozhlas v Bostone WBUR. „A my chceme pochopiť podobnosti a vzorce. A do určitej miery môžeme naučiť počítače, ako identifikovať niektoré z týchto nuancií.“
Ale zatiaľ čo Margolis je presvedčený o schopnostiach programu, mnohí odborníci sú kritickí voči programu monitoruje online aktivitu študentov, aby sa pokúsila rozpoznať „násilné“ správanie skôr, ako k násiliu skutočne dôjde miesto. Okrem očividných problémov správneho definovania toho, čo presne možno považovať za indikátor násilia, je veľa chápte celú túto vec ako invazívnu a neadekvátnu výhovorku na prinútenie študentov, aby sa vzdali svojho práva na súkromie.
„Ide o rozšírenie schopnosti škôl kontrolovať, čo študenti robia v škole alebo na akademickej pôde správanie mimo školy,“ povedal Kade Crockford, riaditeľ programu Technology for Liberty v ACLU v Massachusetts. WBUR. „V mnohých prípadoch v celej krajine školy používajú nástroje sledovania sociálnych médií spôsobom, ktorý poškodzuje najmä farebných študentov. Takže určite máme obavy z technológií, ako je táto, ktoré sa používajú na rozšírenie toho, čo nazývame potrubím zo školy do väzenia.“
