Analiza: Twitterov poskus preverjanja dejstev z množičnimi viri razkriva težave

Poynterjeva analiza je pokazala, da manj kot polovica uporabnikov Birdwatch vključuje vire in veliko zapiskov o preverjanju dejstev vsebuje pristransko retoriko.

Različica Twitterjevega algoritma Birdwatch od 14. februarja je nekatere opombe okrepila z zavajajočimi informacijami.

5. februarja je Twitter označil objava kontroverznega youtuberja Tima Poola ki pravi, da so bile predsedniške volitve v ZDA leta 2020 ponarejene. Platforma je opozorila, da je bila trditev sporna in je izključila sodelovanje 'zaradi nevarnosti nasilja'.

Ampak, naprej Ura ptic , platforma družbenih medijev eksperimentirati z množičnim preverjanjem dejstev , so uporabniki večinoma dejali, da tvit ni zavajajoč, glede na analizo podatkov Twitterja od 14. februarja. Večina uporabnikov Birdwatcha je v orodju navedla, da se jim zdijo te opombe, ki podpirajo razkrite trditve, koristne in informativne.

'Po uradnem (sic) viru TIME je bila dobro organizirana skupina tajnih udeležencev v organizaciji v senci, ki zveni kot kabala, ki je sodelovala, da bi vplivala na volitve v prid Joeja Bidna,' piše v enem zapisku. Medtem ko uporabnik vključi povezavo do članek v reviji Time ki dejansko uporablja besede, kot sta 'kabala' in 'zarota', je kontekst dela - da so močne skupine delale v zakulisju, da bi zaščitile integriteto volitev - izgubljen.

The Algoritem za opazovanje ptic , katerega cilj je prikazati koristne opombe, je temu »preverju dejstev« dodelil oceno koristnosti 0,68 – najvišjo med opombami na tweetu, tik zunaj prvih 10 % opomb, ki jih algoritem obravnava kot »koristne« od 14. februar. Koristno ocenjene opombe so predstavljale približno 7 % od 2.695 v tej analizi in manj kot dve tretjini teh vsebuje povezavo do vira, ki ni še en tvit.

17. febr. Twitter spremenil svoj algoritem in opombe na tweetu Pool niso več ocenjene kot koristne, čeprav so so še vedno navedene pod objavo . Pred to spremembo je obstajal nižji prag, ki se je štel za koristnega – le 0,5 v primerjavi z novo mejo 0,84 – in opombe so potrebovale le tri ocene, da so bile v teku, da so bile obravnavane kot koristne, razvrščene po prioritetah in označene z modro opombo.

Zdaj mora opomba zbrati pet ocen, da ta tvit potisne v nov zavihek »ocenjeno koristno« v Birdwatchu . In od teh skoraj 2.700 opomb v bazi podatkov platforme jih je 126 doseglo nov prag - to je manj kot 5%. Tri četrtine novih 'ocenjeno koristnih' opomb je vsebovalo vir zunaj Twitterja.

To je pravočasna ilustracija ene od težav, s katerimi se sooča model Birdwatch: Ali lahko algoritem, ki ga hrani navidezno naključna skupina ljudi, kdaj natančno »oceni« resnico?

Birdwatch v svoji pilotni fazi z nekaj več kot 1000 uporabniki omogoča udeležencem, da označijo tvite kot zavajajoče in dodajo opombo, ki navaja vir in/ali pojasnjuje kontekst, zakaj je lahko zavajajoč. Nato lahko uporabniki Birdwatch te zapiske razvrstijo glede na uporabnost (po tem prevzame algoritem).

Sčasoma bodo vsi uporabniki Twitterja menda lahko videli te zapiske tik pod tviti, vendar so za zdaj omejeni na določen del spletnega mesta . Uporabniki Birdwatcha bodo sčasoma ustvarili tudi oceno ugleda, ki bo vključena v algoritem za pomoč.

'Naš cilj s pilotnim programom Birdwatch je zgraditi sistem, v katerem lahko vsak prispeva, in ki seveda dvigne informacije, ki se ljudem zdijo koristne,' je v e-poštnem sporočilu povedal podpredsednik izdelka Keith Coleman pri Twitterju. 'Verjamemo, da je odprtost pri tem, kdo lahko prispeva, pomembna in da se lahko s prispevki raznolike skupine dvignejo najbolj koristne opombe.'

Toda pogled na sistem, kakršen je zdaj, razkriva izzive, ki so jih preverjalci dejstev izpostavili glede Birdwatcha: pomanjkanje strokovnega znanja za preverjanje dejstev med uporabniki, težave pri ustvarjanju algoritma, ki bo nekako prikazal koristne opombe najbolj uglednih uporabnikov in vprašanja o partizanskih motivacijah uporabnikov.

„Te ugotovitve me ne presenečajo glede na polarizirano naravo platform družbenih medijev in obotavljanje običajnih uporabnikov, da bi zagotovili povratne informacije o takšnih poizvedbah, ki jih ponujajo platforme, medtem ko motivirani uporabniki z obeh strani platforme vidijo kot bojišča za promocijo svojih pripovedi. drugi,« je povedal Baybars Örsek, direktor mednarodne mreže za preverjanje dejstev.

Večina zapiskov najbolj plodnih uporabnikov Birdwatcha označi tvite, ki kritične do desnice, kot 'zavajajoče', tiste, ki kritične do levice, pa kot 'ne zavajajoče'. (Uporabnik je na primer označil tweet, ki pravi » Ekipa Biden je mehka do Kitajske ” od senatorja Teda Cruza in Pool tvitajo kot »ne zavajajo«; medtem članek v Newsweeku o skrajno desnih ekstremistih in sagi GameStop in tweet povezovanje predsednika Donalda Trumpa z nemiri na Kapitolu so bili označeni kot »zavajajoče« in »škodljive«.) In manj kot petina od 82 uporabnikovih opomb vključuje vir, od katerih je nekaj drugih tvitov. (Ta uporabnik Birdwatcha se ni odzval na prošnjo za intervju.)

Coleman je dejal, da je Birdwatch mogoče spodbuditi k premisleku o zapiskih, ki prihajajo od »različne skupine sodelavcev«. Poleg tega je sistem ocenjevanja glavni gonilnik platforme

'Verjamemo, da bodo to nagradili in spodbudili prispevke, ki se mnogim zdijo dragoceni, in obravnavali tveganje, da bi ena posebna skupina ali ideologija prevzela Birdwatch,' je dejal Coleman. 'To je nekaj, na čemer bomo aktivno delali ves čas pilota.'

In res, opombe, ki jih je algoritem po spremembah 17. februarja označil za najbolj koristne, kažejo bolj trdne vire in manj pristransko retoriko kot ponovitev le dan prej. Toda sprememba algoritma za pilotni program s 1.000 uporabniki in manj kot 2.700 opombami je ena stvar, spreminjanje algoritma, ko je Birdwatch na voljo za vse uporabnike, je nekaj drugega – in kdo ve, ali bo učinkovitost algoritma zdržala, ko bodo uporabniki začeli nalivati. v platformo, ki morda posnema vedenje nekaterih najbolj plodnih pilotnih udeležencev.

'Trenutno nimamo posebne časovnice za skaliranje, saj si prizadevamo, da bi se naučili čim več in ponovili, medtem ko je pilot majhen,' je dejal Coleman. 'Načrtujemo povečanje, saj lahko to storimo varno in ko lahko pomaga izboljšati učenje.'

Kljub temu, tako kot pri zapiskih pod tvitom Pool, obstajajo primeri partizan oz zavajajoče informacije še vedno vidni kot običajni zapiski.

Štirje od petih najbolj aktivnih uporabnikov, ki predstavljajo več kot 10 % vseh zapiskov, imajo podobno dejavnost kot najbolj plodovit uporabnik. Eden od njih trdi, da smrt Jeffreyja Epsteina nikoli ni bila razglašena za samomor. Vendar pa drugi najbolj plodovit opazovalec ptic navaja vir v vsakem zapisku, vključno s povezavami iz Svetovne zdravstvene organizacije in FactCheck.org .

Nobeden od prvih 10 uporabnikov po njihovih biografijah na Twitterju ni poklicni preverjalec dejstev ali novinar.

»Preverjanje dejstev je pravzaprav težko delo, saj je psihično zahtevno,« je v e-poštnem sporočilu povedala odgovorna urednica PolitiFacta Angie Holan. »Resnično se morate osredotočiti in premagati mentalno vztrajnost, da prepoznate trditve, nato pa razmislite o sredstvih za njihovo razkritje ali preverjanje. Nato morate nadaljevati z iskanjem in nato zapisovati ugotovitve. Odkrito povedano, to ni dan na plaži. In če ima preverjevalec dejstev partizansko motivacijo, je to temeljit in enakomeren trud še težje.'

Kljub težavam Birdwatch označuje napačne informacije, ki bi jih tradicionalni preverjalci dejstev morda zamudili ali se odločili, da jih ne preverijo zaradi možnosti škode – kar bi lahko pomagalo zapolniti nekatere vrzeli v digitalnih dezinformacijah. Med igra stop saga , napačne informacije o delnicah tega podjetja so se hitro razširile po platformah.

Snopes in PolitiFact ni ocenil zahtevkov glede GameStop, medtem ko Ocenjene vodilne zgodbe ena objava na Redditu. Toda na Birdwatchu je najvišje ocenjena opomba – z oceno koristnosti 1,00 – označila zavajajoč tvit o Redditu, kjer je potekal pogovor o delnicah. O Redditu, GameStopu in naložbeni aplikaciji Robinhood je bilo okoli 50 zapiskov, na katerih se je v začetku tega meseca zgodil velik obseg trgovanja.

Uporabniki Birdwatcha so pravilno označili račun, ki trdi, da pripada senatorici iz Virginije Amande Chase, kot ponaredek, potem ko je je tvitnil , '... V Virginiji imamo težave z drogami in legalizacija marihuane bo povzročila le še več prevelikih odmerkov marihuane in smrti ...'

Crowdsourcing lahko olajša življenje profesionalnim preverjalcem dejstev z odkrivanjem napačnih informacij, je dejal Örsek.

Coleman je dejal, da je Twitter zavezan ohranjanju preglednosti - kar je omogočilo to analizo - in vključitvi prispevkov strokovnjakov o prihodnosti platforme.

»Od dela z vgrajenim članom ekipe iz Center Univerze v Chicagu za RISC , da bi gostili povratne seje z novinarji in raziskovalci, si prizadevamo izkoristiti ogromno strokovnega znanja in znanja, ki obstaja onkraj Twitterja,« je dejal.

Holan in Örsek priporočata spodbude in usposabljanje za uporabnike Birdwatcha ter najem profesionalnih pregledovalcev dejstev za preverjanje visokih zapiskov.

'Toda precej dvomim v tehnološka podjetja, ki verjamejo, da bodo njihovi uporabniki brezplačno moderirali vsebino zanje,' je dejal Holan. 'Večina uporabnikov ne vidi svojega dela, da pomaga platformam pri vodenju lastnega podjetja.'