Kako je Duke Reporters' Lab uporabil politične konvencije za izpopolnitev svojega avtomatiziranega programa za preverjanje dejstev

Z dovoljenjem Laboratorija novinarjev Duke

Politične konvencije v zadnjih dveh tednih so zagotovile popolne pogoje za Tech & Check Cooperative pri Laboratorij novinarjev Duke izpopolniti svoj avtomatiziran program za preverjanje dejstev Squash in njegovo človeško komponento Gardener.

Squash je program umetne inteligence, ki v realnem času primerja obstoječa preverjanja dejstev v Zahteva Pregled , sistem označevanja za preverjanje dejstev Reporters’ Lab in izjave govorca v živo. Uporablja kombinacijo Googlovih Pretvorba govora v besedilo ; ClaimBuster , ki je bil razvit na Univerzi v Teksasu v Arlingtonu; in Dukeovo lastno kodiranje za ujemanje besed, izgovorjenih z tistimi, napisanimi pri preverjanju dejstev. Ta preverjanja dejstev se prikažejo na zaslonu, da dajo gledalcem več konteksta o vseh vprašanjih, o katerih se razpravlja.

Vendar, kot sta zapisala sodirektorja Reporting Laba Bill Adair in Mark Stencel julija v laboratoriju Nieman , ta sistem ni brez pomanjkljivosti.

'Včasih je lahko pretvorba glasu v besedilo res dobra, če je mikrofon dober in oseba govori jasno, vendar smo imeli nekaj komično slabih,' je dejal Adair. Med poimenskim glasovanjem na Demokratični nacionalni konvenciji se je Squash ujemal s preverjanjem dejstev znoj pod pazduho na glasove Kansasa.

Christopher Guess, vodilni tehnolog za Reporters’ Lab, je dejal, da trenutna tehnologija ne omogoča računalniku, da bi razumel nianse in kontekst načina, kako politiki pogosto govorijo.

'Človeški preverjevalec dejstev se pogosto pogovarja in razpravlja s kolegi, pod kakšnim kotom boste pristopili k temu,' je dejal Guess. 'To je nekaj, česar računalnik dobesedno ne zmore.'

Gardener je nov vmesnik, ki ga je ekipa Tech & Check zgradila na vrhu Squasha, da bi odpravila to pomanjkljivost. Squash nudi človeškemu pomočniku (»Vrtnarju«) tri morebitna ujemanja dejstev, ki jih ta oseba nato izbere za prikaz gledalcem.

'V bistvu torej izločamo slabe in prikazujemo dobre,' je dejal Adair. Program je še vedno v povojih in poleg izpopolnjevanja ujemanja in premagovanja ovir v tehnologiji glasovnega besedila tako Adair kot Guess pravita, da potrebujeta še veliko preverjanj dejstev, da bi lahko izpopolnila tehnologijo.

'Opira se na velik korpus predhodno preverjenih trditev,' je dejal Guess. Trenutno ima ClaimReview bazo podatkov s približno 60.000 trditvami, vendar je Guess dejal, da je le približno tretjina teh pomembnih za ameriško politiko. 'Svet strojnega učenja običajno deluje v milijonih in milijardah, ne v desetinah tisoč,' je dejal Guess.

Medtem ko čaka na dodatne trditve, ekipa eksperimentira z drugimi načini za izboljšanje tekem za preverjanje dejstev. Eden od teh je program, imenovan Caucus, ki združuje preverjanja dejstev v kategorije, ki jih je mogoče nato primerjati s trditvami, ki jih prevzame govor v besedilo.

'Torej recimo, da je ta stavek o zdravstvenem varstvu, to je o politiki, to je o Idahu,' je dejal Guess. 'Imam teorijo, da so trditve, ki spadajo v iste kategorije, bolj verjetno povezane kot trditve, ki niso.'

Adair ne bi dal časovnice, kdaj bo ta tehnologija na voljo javnosti. 'Naš cilj je le še izboljševati, dokler ni pripravljen,' je dejal. 'V treh letih smo naredili velik napredek in z vsemi pametnimi ljudmi, ki jih vidite tukaj, lahko naredite veliko.'

Harrison Mantas je poročevalec mednarodne mreže za preverjanje dejstev, ki pokriva preverjanje dejstev in napačne informacije. Dobite ga na E-naslov ali na Twitterju na @HarrisonMantas