Yahoos nyhetsartikler har mange ubehagelige kommentarer, omtrent som resten av internett, så Yahoo-teamet bestemte seg for å bruke kommentarseksjonen for å utvikle en algoritme som med hell kunne identifisere de verste lovbryterne. Deres ny algoritme som oppdager misbruk jobber 90 prosent av tiden, noe de sier gjør det mer effektivt enn andre organisasjoners forsøk på å ta lignende bragder, og beskrevet som et stort skritt fremover i feltet. 90 prosent gjør høres ganske bra ut, innrømmer jeg.
Kablet rapporterer at Yahoo også lanserer den første offentlig tilgjengelige kuraterte databasen over hatefulle ytringer på nettet som en del av prosjektet for å bekjempe misbruk. Dette betyr at andre nettsteder vil kunne bruke Yahoos database med kommentarer for å designe egne algoritmer. Yahoos algoritme ble utviklet basert på maskinlæring og også på brukerrapporterte data om deres seksjoner.
Den vanskeligste delen av enhver kommentarmodererende algoritme er å håndtere falske positive. Mange algoritmer som oppdager misbruk, ser etter spesifikke ord eller uttrykk, som hevelser eller vanlige fornærmelser, og rapporterer automatisk kommentarene for moderering. Dette resulterer imidlertid i at kommentarer blir flagget selv om de refererer til en oppslemming i sammenheng med å si at det ikke er passende, for eksempel, eller hvis kommentaren er en sarkastisk etterligning av et troll. Yahoos algoritme kan tilsynelatende oppdage visse talemønstre, og den er designet for å være i stand til å fortelle forskjellen mellom spøkende sarkasme og faktisk misbruk. (Selvfølgelig, hvis den morsomme kommentaren din ikke kan skilles fra faktisk misbruk, så er jeg ganske sikker på at algoritmen fortsatt vil flagge den, men jeg kan ikke si sikkert hvordan den delen av AI fungerer.)
Yahoo vervet trente kommentarmoderatorer for å hjelpe til med å perfeksjonere algoritmen, og de betalte også noen utrente moderatorer, og de fant at de trente moderatorene var mye bedre til å finne ut hvilke kommentarer som var passende (slags ikke brainer, men hei). I løpet av å lage AI fant Yahoo at arbeidet til disse trente menneskelige moderatorene var avgjørende for å opprettholde algoritmens effektivitet og perfeksjonere dets deteksjonsteknikker.
Selvfølgelig, algoritmer har fremdeles skjevheter , som ville kreve et (forhåpentligvis mangfoldig) team av menneskelige moderatorer å fortsette å gjenta metodene som ble brukt til å klassifisere kommentarer. Høres ut som en tøff jobb, men i det minste forstår Yahoo nå viktigheten av å trene og verdsette rollene til både deres velutdannede menneskelige moderatorer og deres nye AI-kollega.
jeg elsker star wars meme
(via Det neste nettet , bilde via Michael Cordedda / Flickr )
