10 orodij, ki lahko pomagajo novinarjem s podatki pri boljšem delu in učinkovitejših

Težko je biti enako dober pri vseh nalogah, ki sodijo v podatkovno novinarstvo. Da bi bile stvari hujše (ali bolje, res), novinarji podatkov ves čas odkrivajo in uporabljajo nove metode in orodja.

Kot začetnik podatkovnega novinarja boste želeli razviti občutek za orodja, ki jih drugi uporabljajo za opravljanje dela, ki ga občudujete. Ne boste se jih mogli naučiti vseh naenkrat in ne bi smeli poskušati. Vendar pa bi morali razviti nekakšno ambientalno zavedanje o orodjih, ki jih uporabljate (nekaj podobnega znanja, ki vam ga Facebook daje o življenju vaših srednješolskih sošolcev). Shranite seznam orodij, ki jih želite preveriti. Oglejte si demonstracije in brskajte po dokumentaciji ali kodi. Potem, ko bodo vaši projekti ustvarili potrebo, si boste zapomnili dovolj, da lahko začnete.

Še bolj takoj pa izberite eno ali dve orodji in ju naredite del svoje DNK. Izberite orodje in iz njega izvlecite vse, kar lahko. Preberite vse, kar lahko najdete o tem. Naučite se vsake posebnosti in optimizacije. Kupite skodelico za kavo z bližnjičnimi tipkami na njej. Bodite pripravljeni, da vzamete novo orodje, ko začutite ščepec, ki pravi, da mora obstajati lažji način. Spodaj je 10 orodij, ki so del orodij skoraj vsakega novinarja podatkov.

1. Preglednica

Skoraj vsak podatkovni novinar začne s preglednico. (Razkritje: tukaj sem izjema, tako kot nekateri drugi programerji-novinarji. Naučil sem se uporabljati preglednice za delo s svojimi kolegi, ki se nanje zanašajo.)

Preglednica je skoraj univerzalna oblika zapisa podatkov, še posebej, če svoje podatke shranite kot datoteko z razmejitvijo z navadnim besedilom, kot je datoteka vrednosti, ločenih z vejico. Vsakdo že ima komercialni program za preglednice ali pa lahko preprosto prenese a prost eno, sodobne aplikacije za preglednice pa so izjemno vsestranske.

Obstaja več strani in tečaji na voljo za pomoč pri razvoju veščin preglednic. Začnite z razvrščanjem, filtriranjem in delnimi vsoti ter nadaljujte z naprednejšimi formulami. Ko se naučite uporabljati formule, jih včasih poskusite vnesti neposredno, namesto da uporabite čarovnike. Ta praksa vam bo dala bolj intimno znanje o formulah, ki jih uporabljate, in vam bo pomagala tudi, da začnete svoje ideje izražati v kodi, kar vam bo prišlo prav, ko boste uporabljali druga orodja.

2. SQL

Čez nekaj časa boste morda začeli čutiti ščepec zaradi omejitev preglednic. Številni novinarji podatkov se premaknejo k upravljalniku relacijskih baz podatkov (npr. SQLite, MySQL, PostgreSQL, Access), ko imajo več kot dve preglednici za pridružitev ali zelo velike nabore podatkov za poizvedbo. SQL vam omogoča, da natančno opišete podmnožico podatkov, ki jih želite ekstrahirati, ali natančne spremembe, ki jih želite narediti, in vam omogoča izvajanje teh poizvedb v povezanih nizih podatkov. Svoje ukaze lahko shranite tudi kot skript, tako da lahko dokumentirate vse, kar ste naredili s podatki, in lahko samodejno ponovite te korake v prihodnjem nizu podatkov.

Skoraj vsak program relacijskih baz podatkov uporablja nekaj pridiha SQL, tako da, ko se naučite osnov (nekaj deset ključnih besed in nekaj ločil), lahko poizvedujete po bazah podatkov v poljubnem številu sistemov, tako brezplačnih kot komercialnih. Prav tako se relacijske baze podatkov pogosto uporabljajo za shranjevanje podatkov v spletnih aplikacijah, tako da je vaše znanje SQL lahko neposredno uporabno pri spletnem razvoju.

Tukaj je vadnica za začetek.

3. Orodja za čiščenje podatkov

Vsi nabori podatkov so 'umazani'. To ponovite trikrat, ko odprete prenosni računalnik.

Če želite podatke očistiti in jih spraviti v uporabno obliko, boste verjetno uporabili različna orodja. Moj najljubši je Google Refine , ki je nekoliko podoben preglednici, vendar je namenjen stvarem, kot je standardiziranje imen, tako da lahko ustvarite zanesljiva štetja. (Morda želite, da se »John Smith«, »Smith, John« in »John Q. Smith« štejejo na primer kot ena oseba in ne tri). Uporaba Google Refine Expression Language , boste lahko izvajali sofisticirane transformacije podatkov in naredili boste še en korak pri izražanju v kodi. ( Data Wrangler je novo orodje z nekaterimi funkcijami, podobnimi Refine, ki si ga je prav tako vredno ogledati.)

Zavedati se morate tudi orodij v vašem operacijskem sistemu, ki vam lahko pomagajo pri upravljanju datotek in podatkov v njih. Če uporabljate OSX ali Linux, imate ampak, awk, grep in najti . (Obstajajo pristanišča tudi za Windows.) S temi pripomočki lahko začnete raziskovati in masirati svoje podatke, ne da bi se niti trudili odpreti program za preglednico ali bazo podatkov.

Medtem ko gledate orodja ukazne vrstice, si oglejte CSVKit , neverjetna zbirka orodij, ki so jih razvili novinarji, ki vam bo pomagala delati čarobno v tej običajni obliki.

4. Orodja za vizualizacijo

Vizualizacija ni dekoracija. To ni nekaj, kar zgolj spremlja in ponazarja podatkovno novinarstvo; je osrednja naloga. Dobra vizualizacija vam bo omogočila, da vidite odstopanja in trende na načine, ki lahko močno spremenijo vaše razumevanje podatkov.

Večina aplikacij za preglednice ima vsaj osnovne grafikone in grafe (in pogosto bolj izpopolnjene vizualizacije, ki so na voljo prek dodatkov). Nekaj ​​spletnih orodij za vizualizacijo postaja standardna ponudba. Preveri Google Fusion Tables in Javni odbor . Oba ponujata enostavno uporabo in nekaj precej impresivnih rezultatov.

Sčasoma boste morda želeli nekaj bolj prilagodljivega in močnejšega; strokovnjaki se pogosto zatečejo k nečemu, kot je odprtokodni program R statistični paket, ki združuje zmogljiva analitična orodja in orodja za vizualizacijo v robustnem programskem jeziku.

5. Programska oprema za kartiranje

Tabele Google Fusion in Tableau Public vključujejo hitre in intuitivne zmogljivosti preslikave. Ko vam noben od njihovih zemljevidov ne prinese tistega, kar želite, si oglejte brezplačno QGIS paket za kartiranje. (Ali, če ima vaša redakcija rezervno licenco, ArcView je močna komercialna možnost.) Za novinarsko osredotočen uvod v QGIS si oglejte to vadnica .

Obstajajo tudi prostorske razširitve za upravljavce baz podatkov, ki lahko pomagajo pri postavljanju geografskih vprašanj o vaših podatkih. Razširjajo zmožnosti SQL, tako da vključujejo poizvedbe o geografiji, kot je prepoznavanje lokacij znotraj meje (npr. okrožje ali kongresno okrožje). PostGIS in SpatiaLite so brezplačne in priljubljene rešitve.

6. Skriptni jezik

Izberite jezik, kupite knjigo, rešite problem. Učenje programiranja bo hitro razširilo vaš doseg kot novinarja podatkov: vlada vam ne bo dala podatkov, ki stojijo za spletno stranjo? Postrgaj ga. Ne morete pridobiti podatkov v želeni obliki z obstoječimi orodji? Zgradite svoje. Ne samo uporabnik programske opreme, ampak tudi izdelovalec programske opreme je omamna moč.

Ni pa tako pomembno, kateri jezik izberete Python in Ruby zdi se, da so trenutni favoriti med novinarji. Če nekdo, ki ga poznate, že sodeluje Perl oz PHP in vam je pripravljen pomagati začeti, morda boste želeli začeti tam. Tako kot pri naravnih jezikih, ko se enega naučite, je učenje naslednjega lažje, učenje razmišljanja kot programer pa je veliko pomembnejše od učenja določene sintakse. (Prav tako bodo kul otroci morda uporabljali nekaj povsem drugega, ko boste obvladali jezik tega trenutka.)

Če želite začeti s spletnim strganjem, si oglejte ProPublica odličen vodnik za strganje . ScraperWiki je še en način, da si zmočiš noge in se učiš z zgledom. Naučite se programirati je odličen uvod v koncepte programiranja, ki uporablja Ruby kot ciljni jezik.

7. Spletni okvir

Ne glede na to, ali gradite orodja zase ali ustvarjate svetovne aplikacije, če gradite za splet, potrebujete spletni okvir: django za Python, Tirnice za Ruby , symfony za PHP, Katalizator za Perl izberite svojo.

Okvir vam bo preprečil dolgočasno, ponavljajoče se delo, vam pomagal pri sprejemanju najboljših praks, vas bo organiziral in olajšal sodelovanje z drugimi. Številni okvirji so opremljeni z namestitvenim programom z enim klikom, ki lahko pomaga ublažiti bolečino pri začetku. Oglejte si Bitnami django in Ruby skladovnice, na primer.

Med izdelavo spletnega orodja boste pobrali precejšnjo količino HTML in CSS. Toda vsi znaki kažejo na vse večji pomen JavaScripta v celotnem spletnem razvoju. Če želite, da se vaša spletna aplikacija počuti bolj kot namizna aplikacija, spoznajte nekaj JavaScript, zlasti knjižnice, kot je npr jQuery .

8. Prilagodljiv urejevalnik

Za pisanje kode potrebujete urejevalnik kode. To pomeni urejevalnik, ki v vaše besedilo ne spušča pametnih, domiselnih znakov (glede vas, Microsoft Word) in upamo, da doda nekaj zvončkov in piščal, kot je obarvanje sintakse za jezik, ki vam bo pomagalo enostavno prepoznati ključne besede in druge jezike. elementov, ko tipkate.

Ni bolj zanesljivega načina za začetek pretepa med piflarji kot vprašati, kateri urejevalnik kode je najboljši. TextMate (za Mac) je izvedljiva komercialna možnost. in Notepad++ (za Windows) je dobra brezplačna možnost. Obstajajo tudi neskončno prilagodljive odprtokodne možnosti SEM PRIŠEL in Emacs . Vendar bodite pripravljeni na učno krivuljo z vsakim od njih. Sčasoma bo neki programer Java predlagal, da potrebujete full Integrirano razvojno okolje . Če vam nekdo pomaga pri učenju kodiranja, posvojite njegovega urejevalnika in se naučite vseh bližnjic in konfiguracijskih trikov, ki jih lahko. Urejevalnik je najbolj osebno orodje, zato se boste z vašim želeli počutiti kot doma.

9. Kontrola revizij

Nikoli ne delaš napak? Nikoli ne želite sodelovati z nikomer? Potem morda ne potrebujete revizijski nadzor . Vendar ga je vredno uporabiti, če želite eleganten način shranjevanja varnostnih kopij, preizkusiti stvari na začasnih različicah datotek in združiti svoje delo z drugimi. Morda je najlažji način za učenje nadzora revizij uporaba Github . Lahko tudi namestite pojdi oz Subverzija lokalno.

10. Orodja za analizo dokumentov

Morda je zdaj najbolj vznemirljiva meja podatkovnega novinarstva poskus obravnavanja velikih nizov dokumentov kot podatkov. DocumentCloud ponuja priročen vmesnik za rahljanje vezi formata PDF, ki omogoča iskanje po dokumentih in izluščitev zanimivosti.

Vbodna žaga je namizna programska oprema, ki je uporabna za krmarjenje po razmeroma velikem naboru dokumentov. Sčasoma boste morda želeli preučiti računalniški jezikovni potencial paketov, kot je npr Pythonov komplet orodij za naravni jezik ali Stanford CoreNLP . In ker so novinarji pravkar spraskali površino tega področja, novega orodja ki dokumente obravnavajo kot podatke, ki se pojavljajo ves čas.

To je druga zgodba v dvodelnem nizu o podatkovnem novinarstvu. Prvo zgodbo »5 nasvetov za začetek podatkovnega novinarstva« si lahko preberete tukaj.

Tudi ta zgodba je del Poynterja Haki/hekerji serija, ki vključuje Kako se osredotoča na to, kaj se novinarji lahko naučijo od nastajajočih trendov v tehnologiji in novih orodij.

popravek: V prejšnji različici te zgodbe je bilo navedeno, da morajo uporabniki plačati za Notepad++. Pravzaprav je brezplačno.