Je PolitiFact pristranski? Ta analiza vsebine pravi ne

To je kritika PolitiFact že dolgo navajen slišati.

'PolitiFact se ukvarja z veliko pristranskostjo pri izbiri,' The Weekly Standard napisal leta 2011 . ''Preverjevalci dejstev' v veliki večini ciljajo na desničarske polne in strokovnjake,' piše naslov iz aprila 2017 iz NewsBusters, spletnega mesta, katerega cilj je razkrivanje in boj proti »liberalni medijski pristranskosti«. Obstaja celo cel blog namenjeno prikazovanju načinov, na katere je PolitiFact pristranski.

Projekt preverjanja dejstev, katerega lastnik je Poynter, je te obtožbe zavrnil in opozoril na njegovo preglednost. metodologijo in financiranje (pa tudi njeno članstvo v mednarodni mreži za preverjanje dejstev) kot dokaz, da nima političnega prepričanja. In zdaj ima PolitiFact akademsko študijo, ki to podpira.

Poročilo, objavili raziskovalci marca na Univerzi v Washingtonu in Univerzi Carnegie Mellon analizira jezik, ki ga je PolitiFact objavil o demokratih in republikancih, da bi videl, kako je organizacija predstavila govorce obeh strank. Vključuje tudi zunanjo analizo, ki primerja, kako PolitiFact postavlja vprašanja, s tem, kako to počnejo mediji na splošno.

Poročilo, ki ga je PolitiFact najprej poslal Poynterju, je uporabilo avtomatsko analizo besedila za približno 10.000 člankov iz leta 2007, od tega večina med letoma 2010 in 2017. Razdeljeno po strankah je približno 1,4-krat več člankov o republikancih kot o demokratih. Nekdanji predsednik Barack Obama je bil najbolj pokrit govornik v vzorcu s približno 600 članki.

Ob upoštevanju šeststopenjske lestvice PolitiFacta, ki sega od »Res« do »Pants on Fire!«, obstaja dokaj enakomerna porazdelitev ocen. Razdeljen po strankah, projekt preverjanja dejstev običajno dodeli več resničnih ocen demokratom in več napačnih ocen republikancem, če se prilagodijo za razliko v številu objavljenih člankov o vsaki skupini.

(posnetek zaslona)

Glede na poročilo je za določene politike najpogosteje uporabljena ocena Obame 'večinoma resnična', medtem ko je ocena Donalda Trumpa 'lažna'. Vendar se zdi, da je pokritost PolitiFacta razmeroma uravnotežena, če jo še dodatno razčlenimo po glavnih oznakah teme v vsakem članku.

(posnetek zaslona)

Tri najbolj zajete teme PolitiFacta so gospodarstvo, zdravstvo in davki - vse so približno enakomerno razdeljene med republikanske in demokratske govorce. Izstopajoči, kot sta priseljevanje in orožje, bi lahko imeli več opraviti s tem, koliko vsaka stranka govori o teh vprašanjih, ne pa s tem, kako jih PolitiFact oblikuje, v skladu s poročilom.

'Razdelitev znotraj subjekta je podobna splošni delitvi med strankami,' piše. 'Kot taki ne pričakujemo, da bodo kakršne koli razlike v jeziku, ki jih najdemo med obema stranema, močno temeljile na vsebini člankov.'

Raziskovalci so nato vsak članek podrobneje razčlenili, po katerih besedah ​​najverjetneje pravilno napovedujejo zgodbo o republikancu ali demokratu. Za to so uporabili statistične tehnike in modele obdelave naravnega jezika, pri čemer so odstranili vse citate ali drugo besedilo, ki ga pisec ni napisal.

Glede na predhodne analize poročila je bilo to, kar so ugotovili, dokaj presenetljivo – članki o republikancih so bili povezani z besedami, kot sta »republikanec« in »lažno«, medtem ko so bili članki o demokratih povezani z »demokratom« in »resničnim«.

(posnetek zaslona)

Ko so raziskovalci odstranili vse besede, ki so očitno povezane s katero koli stranko, so ugotovili, da so zgodbe z govorci demokratov običajno napovedane z besedami, kot sta »pomagal« in »mislim«, medtem ko sta zgodbe o republikancih napovedovala »Fox« in »v skladu s«.

(posnetek zaslona)

Kaj torej to pove o domnevni pristranskosti PolitiFacta? Po mnenju raziskovalcev ne veliko.

'Ta del naše analize ne najde očitnih razlik v jeziku, ki se uporablja za opis posameznikov vsake stranke na način, ki kaže kakršen koli znak pristranskosti ali drugačnega obravnavanja,' so zapisali.

V svoji zunanji analizi raziskovalci niso prišli do drugačnih zaključkov. Izvedli so klasifikacijo občutkov, ki temelji na vnaprej določenih seznamih pozitivnih in negativnih izrazov, in ugotovili, da PolitiFact uporablja več negativnih in pozitivnih besed za republikance, članki o katerih so bili v povprečju daljši.

(posnetek zaslona)

'Iz te preproste analize sklepamo, da če obstaja razlika v čustvih, izraženih med analizo PolitiFact demokratov in republikancev, je izražena subtilno in ali na način, ki je specifičen za področje,' piše v poročilu.

Obstaja nekaj omejitev. Zaradi neravnovesja člankov o republikancih in demokratih je lahko razvrstitev besedila le z 58-odstotno natančnostjo predvidela stranko iz nabora besed. Raziskovalci tudi niso izvedli bolj poglobljene analize razpoloženja o vsebini PolitiFacta, deloma zaradi visokih stroškov in deloma zaradi možnosti, da se človeški komentarji subjektivno odzovejo na ocene preverjanja dejstev.

Toda PolitiFact se dobro počuti glede tega, kar piše v poročilu.

»Vsekakor krepi, kako se trudimo delovati in se obnašati. Zato smo seveda veseli, da ne vidimo rdečih zastav,« je v sporočilu povedal izvršni direktor Aaron Sharockman. »Toda kot preverjevalec dejstev, ki je natančno preučil veliko raziskav, tudi tej študiji ne bi smeli dati večje teže, kot je vredna. To je en pogled na jezik in besede, ki jih uporabljamo za pisanje naših preverjanj dejstev.'

'Ne moremo nehati razmišljati o načinih, kako izboljšati svojo verodostojnost za vse občinstvo.'

Poročilo je del 50.000 $ nepovratnih sredstev ki jih je fundacija Knight lani junija podelila PolitiFactu, da bi izboljšal zaupanje v preverjanje dejstev in dosegel skeptično občinstvo. Lansko jesen so člani organizacije za preverjanje dejstev potovali v tri države, v katerih prevladujejo konzervativni volivci, in organizirali forume, sestanke ena na ena in dogodke v skupnosti, da bi dosegli in odgovorili na vprašanja. PolitiFact je najel tudi dva nekdanja politika (po enega iz vsake stranke), da sta kritizirala njegovo delo.

Ta prizadevanja so deloma navdihnila raziskava Rasmussen Reporters septembra, ki je ugotovil, da 88 odstotkov Trumpovih privržencev ne zaupa preverjanju dejstev v medijih. In jezikovna analiza PolitiFacta se zdi dobra zavrnitev tem ugotovitvam.

'Naše analize niso odkrile nobenih sistematičnih razlik v obravnavi demokratov in republikancev v člankih PolitiFacta,' piše v zaključku študije.

Toda v nadaljnjem e-poštnem sporočilu Poynterju je Noah Smith, eden od soavtorjev poročila, ugotovitvam dodal opozorilo.

'To je lahko zato, ker res ni ničesar za najti ali ker naša orodja niso dovolj zmogljiva, da bi našli tisto, kar je tam,' je dejal.