I februari, YouTuber Matt Watson lade upp en video som avslöjade hur lätt han kunde gå in i en algoritmiskt framkallad kaninhål och hitta kommenterande gemenskaper av pedofiler som utnyttjar annars normala videor av barn. Ibland postade samma kommentatorer länkar till olistade videor eller postade WhatsApp-kontaktinformation för vad som var, förmodligen pedofilvänliga gruppmeddelanden, men postade ofta tidsstämplar av barn i kompromissande positioner i nämnda videoklipp.
Watsons upptäckter uppflammade ännu en gång konversationen kring YouTubes moderering och ansvarsskyldighet. Många av videorna han hittade tjänade pengar på programmatiskt med annonser, vilket betyder att YouTube tjänade pengar på innehållet som, även om det kanske inte störde sig självt, utnyttjades i klick och visningar av dem som hade motiv. Videorna i sig var för det mesta inte problemet. Många var barn som gjorde vanliga barngrejer: brottade med sina syskon, visade upp sin leksak samlingar, men kommentarerna och sätten de var kopplade till varandra var misstänksamma och, i slutändan, störande.
Skandalen, som kom bara ett år efter att YouTube först erkände dessa kommentarsringar och senare YouTube för barn #ElsaGate-skandalen, där människor hittade störande videor på en plattform gjorda med barn och deras säkerhet i åtanke, involverade YouTube i en debatt där många frågade: Har YouTube förändrat någonting alls? Och i så fall, varför ökade problemet? Går det att fixa?
YouTube svarade genom att inaktivera kommentarer på miljontals videor som riktades mot av rovdjur och påpekade att de har ett djupt team på 10 000 anställda. mänskliga kommentars- och innehållsmoderatorer och ett maskininlärningssystem vars jobb det är att sålla igenom videor och flagga allt stötande. Men räcker det? Finns det något sätt för YouTube att gottgöra med oroliga föräldrar? Eller är företagets algoritm för långt borta?
För att ta reda på vad, om något, kan göras för att fixa plattformen, Faderligpratade med Jonas Keiser, en affiliate vid Berkman Klein Center for Internet & Society, Associate Researcher vid Alexander von Humboldt Institute for Internet & Society, och DFG Research Fellow. Keizer är expert på YouTube-algoritmer och spridningen av skadliga samhällen. Vi pratade med honom om YouTubes algoritm, hur dessa problem skapas och vad YouTube kan göra för att bli bättre.
Din forskning fokuserar på högerextrema trollkampanjer på Youtube och hur sådana samhällen sprids. Finns det likheter mellan dessa grupper och dessa nyfunna pedofila grupper som delar länkar i kommentarsavsnitt?
Jag skulle inte göra den jämförelsen. Med längst till höger, har vi fler mycket synliga och uppenbara försök att bilda en gemenskap och att få kontakt med andra kanaler. De följer sina egna trender med ämnen som de tycker är viktiga och detta händer inte på en kanal utan flera. Det har gjorts mycket medvetet genom deras egna handlingar. Högerextrema talande huvuden går till varandras shower och ger varandra framträdande legitimitet.
Samtidigt påverkar de, genom sin aktivitet och användaraktivitet, YouTubes algoritm på ett sätt som på YouTube, politiska filmer och politiska kanaler kommer, oavsett vilken ideologi man tittar på, ofta leda till extremhöger kanaler.
Så de pedofila gemenskaperna verkar vara mycket mer än att kanalerna och videorna inte nödvändigtvis var gemenskapen där, utan snarare onlinekommentarerna, som, från vad jag har läst, skapade detta konstiga, osynliga, mycket störande fenomen.
För de som inte är medvetna, hur fungerar YouTubes algoritm?
YouTubes algoritm snurrar runt tanken att det kommer att hålla användarna engagerade. I det sammanhanget betyder det uppenbarligen att man tittar på videorna, eller kommenterar, eller gillar eller delar. Att stanna på plattformen är det viktigaste målet. För att stanna på plattformen får du rekommendationer på din startsida, på videosidorna och på själva kanalerna. Dessa är alla byggda kring idén att användare ska stanna på plattformen. Frågan är förstås hur YouTube skapar en algoritm som gör det?
Det finns många olika datapunkter som går in i den algoritmen. Till exempel: vad är trendigt på plattformen just nu? Vad har andra personer med samma intressen tittat på? Vilka videor blir det mest klickade på? Var överlappar liknande personer i användarkommentarer? Sådana saker. Huvudidén är att låta algoritmen lära sig vad som lockar och håller användare på plattformen.
När det gäller innehåll och kommentarmoderering på YouTube, hur är den modereringen uppbyggd? Tycker du att det är ett tillräckligt svar på hoten på Internet?
Bara till viss del. Problemet med moderering på det sätt som de flesta stora sociala medieplattformar gör det är att det är byggt kring människor som rapporterar innehåll. Så, i princip, om ingen rapporterar det och det inte klart strider mot reglerna som är identifierbara genom maskininlärning - som förbannelseord eller något liknande som skulle kunna filtreras bort algoritmiskt - andra kommentarer är uppenbarligen mycket svårare att identifiera så a människan behöver titta på det. Men om ingen rapporterar innehållet vet inte YouTube att det finns, bara för att det finns så mycket innehåll på plattformen. Det lyfter fram användarnas betydelse. Det diskuteras, oavsett om det är bra eller dåligt, att användare sätts i den positionen att de måste anstränga sig för att lyfta fram för YouTube vad som är stötande för dem.
På videonivå har andra former [av moderering] implementerats nu, så det finns en nedrankning av innehåll som kan inkludera toppnyheter. Om du söker efter nyheter får du först vad YouTube anser vara mer pålitliga källor. De har experimenterat med informationsrutorna kring vissa konspirationsvideor. Dessa är alla, på ett eller annat sätt, former av innehållsmoderering.
Sättet som YouTube förlitar sig på goda samariter för att rapportera saker som kan vara problematiska eller stötande känns på samma sätt som att Reddit också till stor del kontrolleras av community-moderatorer, även om Reddit inte verkar ha detta problem samtidigt skala.
Jämförelsen är vettig, men den är väldigt annorlunda. Varje subreddit är en community som i princip säger vilken form av innehåll som är tillåtet. I samband med vetenskapen SubReddit, till exempel, kan du se när moderatorer ser till att reglerna följs, medan andra subreddits är väldigt laissez-faire. Antalet inlägg på subreddits kan inte jämföras med antalet videor som laddas upp vid en given timme på YouTube. Vissa av dessa forum har ett intresse av självpolisiering. Arbetskraften är i princip utlagd på användarna och antagandet är att så länge det finns människor som är tillräckligt motiverade att utföra det arbetet, så är det bra, men så är det inte på YouTube. Dessa forum existerar inte på samma sätt.
När det gäller dessa senaste kommentatorer och de senaste YouTube Kids-skandalerna som #ElsaGate, där troll satte ihop hemska videor i barninnehåll. Finns det något sätt att uppmärksamma dem som inte bara förlitar sig på den genomsnittliga YouTube-användarens goda vilja?
YouTube har sakta, mycket långsamt, gått åt rätt håll. De är inte där, men de förstår att folk kommer att söka på YouTube efter nyheter, så att kurera vilka kanaler som kommer upp är meningsfullt enligt min mening.
I mitt eget arbete är det överraskande för mig att YouTube i princip behandlar politiskt innehåll på samma sätt som det gör popmusik. De senaste veckorna har de sakta förstått att det finns en skillnad.
Till exempel med anti-vaxxing rörelse, sa de att de inte nödvändigtvis skulle tillåta vissa videor längre. Jag tror att det är viktigt. I ett politiskt sammanhang är idén om att "bara titta på folk" inte vad du vill. Det här är vad du vill ha för musik, för spel eller andra former av underhållning, men när det kommer till information.
Jag tror att för video- och kanalrekommendationer, där denna logik fortsätter, att syftar till att ha människor på plattformen, oavsett vilken motivation, är problematiskt.
Så, vilka lösningar, om några, föreslår du för att hantera YouTubes senaste kommentarskandaler?
Vad jag har läst, existerade communityn mest genom kommentarerna, som sedan hade så här stor effekt på YouTube-rekommendationerna, så de här videorna länkades, uppenbarligen på ett ganska sjukt sätt. Jag tror att det här är ungefär som den problematiska delen. Hur blir du som plattform medveten? Är du medveten om att det är något på gång som inte borde fortsätta? Och eftersom det uppenbarligen inte borde vara upp till vissa, aktiva och medvetna användare att ta reda på dessa saker, men tack och lov finns det.
Frågan är: ‘Hur fungerar algoritmer i det sammanhanget och tillåter det?’ Min uppfattning är att det är skillnad mellan de användare som kommenterat och personer som har laddat upp videor. Jag tror att det kan vara lättare att koppla bort; men jag tror att det bästa alternativet skulle vara att investera mycket i människor för att moderera innehåll som är misstänkt, och bara vara mycket medveten om att försöka ta reda på vad utgör som misstänkt med avseende på algoritmer.
Finns det en version av YouTube som finns, i ditt sinne, som inte behöver köras på dessa algoritmer som kan länka potentiellt farliga samhällen till varandra? Eller är det inneboende i själva plattformen?
Jag tror inte att det är inbyggt i plattformen. Jag tror att det är inneboende i affärsmodellen. Du kan mycket väl tänka dig en videogemenskap som kanske liknar Reddit, till exempel, som fokuserar på visst innehåll eller vissa ämnen, och där du kan lägga upp videor i det avseendet.
Det är problemet. Om YouTube överger algoritmen som håller människor på plattformen, då är det ett vinstproblem. YouTube vill fortsätta tjäna pengar.
Jag tycker att det är rättvist. Många av de diskussioner vi för just nu kring hur plattformar fungerar och varför, till exempel, visst innehåll behandlas mer fördelaktigt än annat och varför, desinformation eller konspirationsteorier kan frodas, har att göra med affärsmodellen och tanken att allt med klick belönas. Det finns idéer om att ha plattformar som inte är byggda kring det. Men de skulle inte tjäna lika mycket pengar.
