AI used in social media

Artificiell Intelligens

Hur Instagram använder AI för att ta bort provocerande innehåll

publicerad 9 månader sedan av
Karl Sellergren

Det är den 15:e Mars 2019 och dags för fredagsbön för medlemmar i Al Noor moskén i Christchurch. Det de minst väntade skulle snart hända, ett terrorattentat som skulle ge upphov till upprustningen av digital säkerhet och hat-bekämpning världen över. Attentatet livesändes under 17 minuter via Facebook och hade sedan spridits och återuppladdats över 900 gånger. Stora sociala nätverkstjänster fick ändlös kritik för att inte ha tillräckligt många förebyggande åtgärder på plats, vilket fick dem att ta till temporära åtgärder. Hur ska ett sådant förödande scenario kunna förebyggas i framtiden och hur jobbar sociala medier som Instagram idag med att ta bort provocerande innehåll?

Då Instagram idag ligger trea som mest använda sociala nätverkstjänst med över 1 miljard månatliga användare, är det svårt för “IT-avdelningen” att granska varje inlägg individuellt. Dessutom så ägs Instagram av nätverksjätten Facebook som i sig har 2,82 miljarder användare i nuläget. Därför används en lång rad olika avancerade system för att möjliggöra komplex granskning av allting som publiceras. Merparten av dessa system drivs av Artificiell Intelligens under Facebooks ledning. Företaget har själv skapat olika “virtuella miljöer” som gör det enkelt för tjänsten att använda senaste tekniken inom AI och applicera det i Instagram och Facebook, ett exempel är FbLearnerFlow och FbLearner Predictor.

2016 introducerade Facebook sin nya DeepText AI, en textmotor som kan förstå text näst intill lika bra som en människa, i 20 olika språk. DeepText använder sig av djupa neuronnätverk för att med hjälp av ett antal utfall kunna förutsäga syftet med ett inlägg. Ett djupt neuralt nätverk kan liknas med en syntetisk version av vår hjärna och är därför en väldigt avancerad datoralgoritm. Det använder sig av massvis med neurala kopplingar för att se mönster och kunna generera rätt output. Fördelen med djupa neurala nätverk är att det är väldigt lite kodande involverat, nätverket tränas till att känna igen vissa mönster och kodar då i ett visst avseende sig självt. 

Instagram Deep Neural Network
Ett djupt neuralt nätverk illustrerat, Bild: Karl Sellergren

Du kan likna det med när du vill köpa någonting på nätet: Du filtrerar alla produkter genom att välja exempelvis prisspann och storlek och när du är klar har du förhoppningsvis hittat rätt. Det neurala nätverket jobbar på samma sätt, bara att det är AI som väljer ut alla filter. 

När Max Tegmark – en svensk fysiker och AI-expert – beskrev neuronnätverk i sin senaste bok Liv 3.0 betonade han genombrottet av denna teknik: “Neuronnätverk har nu helt förändrat biologisk och artificiell intelligens, och har nyligen börjat dominera det underområde inom AI som kallas maskininlärning.” Det stämmer väl överens med tekniken bakom Instagram analysverktyg, där samma teknik dominerar. I DeepText så används flera neuronnätverk som har tränats med olika källor av text för att komma fram till om ett inlägg är provocerande eller inte.

Ett besvärligt problem med dagens textmotorer är att skilja mellan vardagligt och provocerande innehåll. Med tanke på att dagens samhälle utvecklas ständigt i alla avseenden utvecklas även vårt sätt att tala och förmedla starka känslor. Särskilt svårt är att kunna analysera slang och vardagsspråk, som kanske inte är speciellt allmänt utan används i instängda grupper. I artikeln “Inside Instagrams War of Bullying” beskriver Facebooks Head of Engineering just detta problem, och tar upp ett väldigt aktuellt exempel. Instagrams textanalys söker konstant efter ord som “you ugly ass gapped tooth ass bitch” eller “Your daughter is a slag.”, men föreställ dig AI:n som försöker skilja mellan dessa exempel:

I’m coming over later.

I’m coming over later no matter what you say.

Därför är alla dessa verktyg långt från perfekta och möter ständigt kritik från personer som anser att deras inlägg har blivit felaktigt flaggade. Ytterligare ett omfattande problem är att DeepText ännu inte finns tillgängligt på svenska, utan stödjer bara världens nio mest talade språk. En provocerande kommentar flaggas alltså inte på Instagram i länder där DeepText inte stöds.

Tillbaka till attentatet i Christchurch och de förödande konsekvenserna. Videon som delades på sociala medier var plötsligt extremt svår att hitta med en enkel textgranskning eftersom de inte var texten som var provocerande. Istället kom en annan teknik in i bilden: Facebooks video- och bildgranskare. Introducerad någon gång runt 2013, möjliggör dessa analyser ännu mer djupgående granskning av inläggen som publiceras. De använder sig av samma fenomen som beskrivet ovan med de djupa neuronnätverken, bara att in-värdena till algoritmen skiljer sig avsevärt. Lite förenklat söker algoritmen genom alla pixlarna i en bild och söker efter kontraster. Som ni kanske kan tänka er söker samma algoritm genom en video på det sättet att den delar upp den i massvis med bilder (från engelskans frames). Genom att samla nio pixlar i en “grupp” (patch på engelska) och utföra en simpel matematisk operation kan AI:n – efter ett stort antal nivåer i ett djupt neuronnätverk – komma fram till eventuella objekt eller miljöer som finns i bilden. Ett samlingsnamn för denna typ av AI kallas Convolutional Neural Network, men detta kommer jag skriva mer om i kommande artiklar. Ytterligare ett namn för datorns sätt att tolka en bild eller video som oss människor kallas Computer Vision.

Instagrams Convolutional Neural Network
Instagrams Convolutional Neural Network, Bild: Karl Sellergren

Instagram är världsledande med att bekämpa provokatoriskt innehåll på sin plattform och efter att ha studerat deras teknologiska framsteg grips man av häpnad om hur snabbt utvecklingen går. Men är detta rätt väg att ta? Många menar på att en AI aldrig kommer att vara helt perfekt och på så sätt kommer att inskränka på yttrandefriheten hos de som vill föra fram deras åsikter. Å andra sidan har tekniken varit betydande i bekämpningen av mobbning och kränkning. Hur det blir i framtiden återstår att se, men en sak är säker: Teamet bakom Instagram jobbar dagligen med att göra tillvaron på sociala medier säkrare.

Källor som användes i den här artikeln