I dagens fragmenterade online-landskap är det svårare än någonsin att identifiera skadliga aktörer som troll och spridare av felaktig information.
Ofta fokuserar insatserna för att upptäcka skadliga konton på att analysera vad de säger. Vår senaste forskning tyder dock på att vi bör ägna mer uppmärksamhet åt vad de gör – och hur de gör det.
Vi har utvecklat en metod för att identifiera potentiellt skadliga aktörer online enbart utifrån deras beteendemönster – hur de interagerar med andra – snarare än utifrån det innehåll de delar. Vi presenterade våra resultat vid den senaste ACM Web Conference och tilldelades priset för bästa artikel.
Mer än att titta på vad människor säger
Traditionella metoder för att upptäcka problematiskt beteende online bygger vanligtvis på två metoder. Den ena är att undersöka innehållet (vad människor säger). Den andra är att analysera nätverkskopplingar (vem som följer vem).
Dessa metoder har sina begränsningar.
Användare kan kringgå innehållsanalys. De kan koda sitt språk noggrant eller dela vilseledande information utan att använda uppenbara triggerord.
Nätverksanalys fungerar inte på plattformar som Reddit. Här är kopplingarna mellan användarna inte tydliga. Gemenskaperna är organiserade kring ämnen snarare än sociala relationer.
Vi ville hitta ett sätt att identifiera skadliga aktörer som inte lätt kunde luras. Vi insåg att vi kunde göra det genom att fokusera på beteende – hur människor interagerar, snarare än vad de säger.
Lära AI att förstå mänskligt beteende online
Vår metod använder en teknik som kallas invers förstärkningsinlärning. Det är en metod som vanligtvis används för att förstå mänskligt beslutsfattande inom områden som autonom körning eller spelteori.
Vi har anpassat denna teknik för att analysera hur användare beter sig på sociala medieplattformar.
Systemet fungerar genom att observera en användares handlingar, såsom att skapa nya trådar, skriva kommentarer och svara på andra. Utifrån dessa handlingar drar det slutsatser om den underliggande strategin eller ”policyn” som styr deras beteende.
I vår Reddit-fallstudie analyserade vi 5,9 miljoner interaktioner under sex år. Vi identifierade fem olika beteendepersonligheter, inklusive en särskilt anmärkningsvärd grupp – ”disagreers”.
Möt ”disagreers”
Vårt kanske mest slående resultat var att vi fann en hel grupp Reddit-användare vars huvudsakliga syfte verkar vara att vara oense med andra. Dessa användare söker specifikt efter möjligheter att publicera motstridiga kommentarer, särskilt som svar på oenighet, och går sedan vidare utan att vänta på svar.
”Oeniga” var vanligast i politiskt inriktade subreddits (forum som fokuserar på särskilda ämnen) som r/news, r/worldnews och r/politics. Intressant nog var de mycket mindre vanliga i det numera förbjudna pro-Trump-forumet r/The_Donald, trots dess politiska inriktning.
Detta mönster visar hur beteendeanalys kan avslöja dynamiker som innehållsanalys kan missa. I r/The_Donald tenderade användarna att hålla med varandra samtidigt som de riktade fientlighet mot externa mål. Denna dynamik kan förklara varför traditionell innehållsmoderering har haft svårt att hantera problem i sådana communityn.
Fotbollsfans och gamers
Vår forskning avslöjade också oväntade kopplingar. Användare som diskuterade helt olika ämnen uppvisade ibland anmärkningsvärt liknande beteendemönster.
Vi fann slående likheter mellan användare som diskuterade fotboll (på r/soccer) och e-sport (på r/leagueoflegends).
Denna likhet framgår av den grundläggande karaktären hos båda gemenskaperna. Fotbolls- och e-sportfans engagerar sig på parallella sätt: de stöder passionerat specifika lag, följer matcher med stort intresse, deltar i heta diskussioner om strategier och spelares prestationer, firar segrar och analyserar nederlag.
Båda communityn främjar en stark grupptillhörighet. Användarna försvarar sina favoritlag samtidigt som de kritiserar rivalerna.
Oavsett om de diskuterar Premier League-taktik eller League of Legends-mästare är de underliggande interaktionsmönstren – timing, sekvens och emotionell ton i svaren – konsekventa i dessa tematiskt skilda communityn.
Detta utmanar konventionell visdom om polarisering online. Medan ekokammare ofta anklagas för att öka splittringen, tyder vår forskning på att beteendemönster kan överskrida tematiska gränser. Användarna kan vara mer splittrade av hur de interagerar än av vad de diskuterar.
Utöver trolldetektering
Implikationerna av denna forskning sträcker sig långt bortom akademiskt intresse. Plattformmoderatorer skulle kunna använda beteendemönster för att identifiera potentiellt problematiska användare innan de har publicerat stora mängder skadligt innehåll.
Till skillnad från innehållsmoderering är beteendeanalys inte beroende av språkförståelse. Det är svårt att undvika, eftersom det kräver mer ansträngning att ändra sitt beteendemönster än att anpassa sitt språk.
Metoden kan också bidra till att utforma effektivare strategier för att motverka felaktig information. Istället för att fokusera enbart på innehållet kan vi utforma system som uppmuntrar mer konstruktiva engagemangsmönster.
För användare av sociala medier är denna forskning en påminnelse om att det är hur vi engagerar oss online – inte bara vad vi säger – som formar vår digitala identitet och påverkar andra.
I takt med att onlineforum fortsätter att brottas med manipulation, trakasserier och polarisering kan metoder som beaktar beteendemönster tillsammans med innehållsanalys erbjuda effektivare lösningar för att främja sundare online-gemenskaper.
Mer information: Lanqin Yuan et al, Behavioral Homophily in Social Media via Inverse Reinforcement Learning: A Reddit Case Study, Proceedings of the ACM on Web Conference 2025 (2025). DOI: 10.1145/3696410.3714618
This article is republished from The Conversation under a Creative Commons license. Read the original article.
