I februar, YouTuber Matt Watson la ut en video som avslører hvor lett han var i stand til å gå inn i en algoritmisk frembragt kaninhull og finne kommenterende samfunn av pedofile som utnytter ellers normale videoer av barn. Noen ganger la de samme kommentatorene ut linker til uoppførte videoer eller la ut WhatsApp-kontaktinformasjon for det som var, antagelig pedofilvennlig gruppemeldinger, men postet ofte tidsstempler av barn i kompromitterende stillinger i nevnte videoer.
Watsons funn provoserte nok en gang samtalen rundt YouTubes moderering og ansvarlighet. Mange av videoene han fant var programmatisk inntektsgenerert med annonser, noe som betyr at YouTube tjente penger på innholdet som, selv om det kanskje ikke forstyrret seg selv, ble utnyttet i klikk og visninger av de som hadde skjult motiver. Videoene i seg selv var for det meste ikke problemet. Mange var barn som gjorde vanlige barneting: kjempe med søsknene sine, vise frem leken deres samlinger, men kommentarene og måtene de ble knyttet til hverandre på var mistenkelige og til slutt, forstyrrende.
Skandalen kom bare et år etter at YouTube først anerkjente disse kommentarringene og senere YouTube for barn #ElsaGate-skandalen, der folk fant urovekkende videoer på en plattform laget med barn og deres sikkerhet i tankene, involverte YouTube i en debatt der mange spurte: Har YouTube endret noe i det hele tatt? Og i så fall, hvorfor ble problemet spredt? Kan det fikses?
YouTube svarte med å deaktivere kommentarer på millioner av videoer som ble målrettet av rovdyr og påpekte at de har et team på 10 000 ansatte. menneskelige kommentar- og innholdsmoderatorer og et maskinlæringssystem hvis jobb det er å sile gjennom videoer og flagge alt som er støtende. Men er det nok? Er det noen måte for YouTube å gjøre opp igjen med bekymrede foreldre? Eller er selskapets algoritme for langt borte?
For å finne ut hva, om noe, kan gjøres for å fikse plattformen, Faderligsnakket med Jonas Keiser, en tilknyttet Berkman Klein Center for Internet & Society, Associate Researcher ved Alexander von Humboldt Institute for Internet & Society, og DFG Research Fellow. Keizer er ekspert på YouTube-algoritmer og spredning av skadelige samfunn. Vi snakket med ham om YouTubes algoritme, hvordan disse problemene skapes, og hva YouTube kan gjøre for å gjøre det bedre.
Forskningen din fokuserer på høyreekstreme trollkampanjer på Youtube og hvordan slike samfunn sprer seg. Er det likheter mellom disse samfunnene og disse nylig funnet pedofile samfunnene som deler lenker i kommentarseksjoner?
Jeg ville ikke gjort den sammenligningen. Med ytterst til høyre, har vi flere veldig synlige og åpenbare forsøk på å danne et fellesskap og koble til andre kanaler. De følger sine egne trender med temaer de synes er viktige, og dette skjer ikke på én kanal, men flere. Det er gjort veldig bevisst gjennom deres egne handlinger. Høyreekstremt snakkende hoder går til hverandres show og gir hverandre fremtredende legitimitet.
Samtidig, gjennom sin aktivitet og brukeraktivitet, påvirker de også YouTubes algoritme på en måte som på YouTube, politiske videoer og politiske kanaler vil, uansett hvilken ideologi du ser på, ofte føre til høyreekstreme kanaler.
Så de pedofile samfunnene ser ut til å være mye mer enn at kanalene og videoene ikke nødvendigvis var fellesskapet der, men snarere nettkommentarene, som, fra det jeg har lest, skapte dette rare, usynlige, veldig urovekkende fenomen.
For de som ikke er klar over, hvordan fungerer YouTubes algoritme?
YouTubes algoritme snurrer rundt ideen om at det vil holde brukerne engasjert. I den sammenheng betyr det åpenbart å se videoene, eller kommentere, eller like eller dele. Å holde seg på plattformen er det viktigste målet. For å holde deg på plattformen vil du få anbefalinger på hjemmesiden din, på videosidene og på selve kanalene. Disse er alle bygget rundt ideen om at brukere bør holde seg på plattformen. Spørsmålet er selvfølgelig hvordan YouTube lager en algoritme som gjør det?
Det er mange forskjellige datapunkter som går inn i den algoritmen. For eksempel: hva er trending på plattformen for øyeblikket? Hva har andre mennesker med samme interesser sett på? Hvilke videoer blir det klikket mest på? Hvor overlapper lignende personer i brukerkommentarer? Sånne ting. Hovedideen er at algoritmen skal lære hva som tiltrekker og holder brukere på plattformen.
Når det gjelder innhold og kommentarmoderering på YouTube, hvordan er den modereringen satt opp? Tror du det er en tilstrekkelig respons på truslene på Internett?
Bare til en viss grad. Problemet med moderering slik de fleste store sosiale medieplattformer gjør det, er at det er bygget rundt folk som rapporterer innhold. Så, i utgangspunktet, hvis ingen rapporterer det og det ikke klart er i strid med reglene som kan identifiseres gjennom maskinlæring - som banneord, eller noe sånt som kan filtreres ut algoritmisk - andre kommentarer er åpenbart mye vanskeligere å identifisere så a mennesket trenger å se på det. Men hvis ingen rapporterer innholdet, vet ikke YouTube at det eksisterer, bare fordi det er så mye innhold på plattformen. Det fremhever viktigheten av brukere. Det diskuteres, om det er en god eller dårlig ting eller ikke, at brukere blir satt i den posisjonen at de må anstrenge seg for å fremheve for YouTube hva som er støtende for dem.
På videonivå er andre former [for moderering] implementert nå, så det er nedrangering av innhold som kan inkludere toppnyheter. Hvis du søker på nyhetssaker, får du først det YouTube anser som mer pålitelige kilder. De har eksperimentert med informasjonsboksene rundt visse konspirasjonsvideoer. Dette er alle, på en eller annen måte, former for innholdsmoderering.
Måten YouTube er avhengig av gode samaritaner for å rapportere ting som kan være problematiske eller støtende føles på samme måte som at Reddit også i stor grad kontrolleres av fellesskapsmoderatorer, selv om Reddit ikke ser ut til å ha dette problemet samtidig skala.
Sammenligningen er fornuftig, men den er veldig forskjellig. Hver subreddit er et fellesskap som i utgangspunktet sier hvilken form for innhold som er tillatt. I sammenheng med vitenskapen SubReddit, for eksempel, kan du se når moderatorer sørger for at reglene blir fulgt, mens andre subreddits er veldig laissez-faire. Antall innlegg på subreddits kan ikke sammenlignes med antall videoer som lastes opp til enhver tid på YouTube. Noen av disse foraene har interesse for selvpoliti. Arbeidet er i utgangspunktet satt ut til brukerne, og antakelsen er at så lenge det er folk motiverte nok til å gjøre det, er det greit, men det er ikke tilfelle på YouTube. Disse foraene eksisterer ikke på samme måte.
Når det gjelder disse nylige kommentatorene og nylige YouTube Kids-skandaler som #ElsaGate, der troll satte forferdelige videoer inn i barneinnhold. Er det en måte å bringe oppmerksomhet til dem som ikke bare er avhengig av den gode viljen til den gjennomsnittlige YouTube-brukeren?
YouTube har sakte, veldig sakte, gått riktig retning. De er ikke der, men de forstår at folk vil søke på YouTube etter nyheter, så det er fornuftig å kurere hvilke kanaler som kommer opp etter min mening.
I mitt eget arbeid er det overraskende for meg at YouTube i utgangspunktet behandler politisk innhold på samme måte som popmusikk. De siste ukene har de sakte forstått at det er en forskjell.
For eksempel med anti-voksende bevegelse, sa de at de ikke nødvendigvis ville tillate visse videoer lenger. Jeg tror det er viktig. I en politisk sammenheng er ikke ideen om «bare folk som ser på» det du ønsker. Dette er hva du ønsker for musikk, for spill eller andre former for underholdning, men når det kommer til informasjon.
Jeg tror at for video- og kanalanbefalinger, der denne logikken fortsetter, er det problematisk å ha folk på plattformen, uansett motivasjon.
Så, hvilke løsninger, hvis noen, foreslår du for å håndtere YouTubes nylige kommentarskandaler?
Fra det jeg har lest, eksisterte fellesskapet for det meste gjennom kommentarene, som da hadde så stor effekt på YouTube-anbefalingene, så disse videoene ble koblet sammen, åpenbart på en ganske syk måte. Jeg tror dette er litt som den problematiske delen. Hvordan er du som plattform bevisst? Er du klar over at det skjer noe som ikke bør fortsette? Og fordi det åpenbart ikke burde være opp til bestemte, aktive og bevisste brukere å finne ut av disse tingene, men heldigvis er det det.
Spørsmålet er: ‘Hvordan fungerer algoritmer i den konteksten og tillater det?’ Min oppfatning er at det er en forskjell mellom brukerne som kommenterte og folk som hadde lastet opp videoer. Jeg tror det kan være lettere å koble fra; men jeg tror at det beste alternativet ville være å investere tungt i mennesker for å moderere innhold som er mistenkelig, og bare være veldig bevisst på å prøve å finne ut hva utgjør som mistenkelig med hensyn til algoritmer.
Finnes det en versjon av YouTube som eksisterer, i tankene dine, som ikke trenger å kjøre på disse algoritmene som kan knytte potensielt farlige samfunn til hverandre? Eller er det iboende til selve plattformen?
Jeg tror ikke det er iboende for plattformen. Jeg tror det er iboende i forretningsmodellen. Du kan godt tenke deg et videofellesskap som kanskje ligner på Reddit, for eksempel, som fokuserer på bestemt innhold eller bestemte emner, og hvor du kan legge ut videoer i den forbindelse.
Det er problemet. Hvis YouTube forlater algoritmen som holder folk på plattformen, er det et fortjenesteproblem. YouTube ønsker å fortsette å tjene penger.
Jeg synes det er rettferdig. Mange av diskusjonene vi har for tiden rundt hvordan plattformer fungerer og hvorfor, for eksempel, noe innhold blir behandlet gunstigere enn annet og hvorfor, feilinformasjon eller konspirasjonsteorier er i stand til å trives, har å gjøre med forretningsmodellen, og ideen om at alt med klikk blir belønnet. Det er ideer om å ha plattformer som ikke er bygget rundt det. Men de ville ikke tjene så mye penger.
