En udveksling af e-mails, der viser hvordan journalister misbruger statistik og ikke vil indrømme fejl
Det startede med at jeg så denne historie i Ekstra Bladets hjemmeside:
http://ekstrabladet.dk/nationen/article1410368.ece
Her bliver det til en historie, at tre tusinde svenskere åbenbart har tilkendegivet, på en hjemmeside for avisen Aftonbladet.se via en web-afstemning, at det vigtigste spørgsmål som politikerne skal debattere er indvandring. Journalisten Thomas Harder har skrevet artiklen på www.eb.dk/nationen
Jeg skriver til ham og får følgende svar – og så kører det frem og tilbage…
Fra: Paul Metelmann [mailto:paul@media4masses.dk]
Sendt: 14. september 2010 21:51
Til: Thomas Harder R.
Emne: Boganbefaling
Kære Thomas Harder
Jeg kan anbefale dig bogen “Hvem spiser boller i karry?” som er en letforståelig bog, der handler blandt andet handler om statistik. Hvis du læste den ville du vide, at man ikke kan bruge netafstemninger til noget. Hvis den netafsteminger du citerer fra lå på en anden avis hjemmeside eller hvis Ekstra Bladets afstemning lå på Politikens hjemmeside – ville du få et andet resultat.
Venlig hilsen
Paul Metelmann
Hej Paul – tak for mail – og du har da ret i, at det ikke er en normal, vejet, vægtet osv måling, og derfor skriver jeg da forhåbentlig altid, at det er en afstemning foretaget ‘her på siden’ ellign. Jeg forsøger også altid at skrive hvor mange der har deltaget, og så mener jeg at læserne har de oplysninger, der skal til for selv at vurdere materialet.
Men….når f.ex. 3000 personer har givet deres mening til kende, så synes jeg, at det er en artikel værd. Og jeg synes så også, at det ville endnu en artikel værd, at skrive om tilsvarende afstemninger på andre sider f.ex. Politiken, og deres resultater. ‘
vh thomas
Fra: Paul Metelmann [mailto:paul@media4masses.dk]
Sendt: 15. september 2010 15:38
Til: Thomas Harder R.
Emne: Re: SV: Boganbefaling
Kære Thomas
Den eneste artikel man kan skrive er, at web-målinger af den type ikke kan bruges til noget. Det kunne være en person der havde stemt tre tusinde gange på det samme resultat og det ser man ofte med den type afstemninger. Det er ikke antallet der har nogen betydning – jeg kan kunne lave en web-pol et andet sted og få det modsatte svar.
Her er et lille udpluk fra den nævnte bog, som jeg selv har været med til at skrive, og som viser hvor problematisk den type undersøgelser er. Men formålet var vel kun at underbygge den holdning Ekstra Bladet og ikke mindst brugerne af “Nationen” har i forvejen. Alligevel kan du få udplukket her:
Gennembruddet for Gallup
kom I 1936, hvor hans nystartede firma havde lavet en stikprøvebaseret
undersøgelse og havde spurgte 5000 amerikanere,
hvem de ville stemme på ved det næste amerikanske valg: demokraternes
Roosevelt eller republikanernes Alfred M. Landon.
De 5000 adspurgte var statistisk repræsentative i forhold til den
amerikanske befolkning. Samtidig havde magasinet The Literary
Digest sendt over 10 mio. spørgeskemaer ud til bladets læsere
for at undersøge valgets sandsynlige resultat. The Literary Digest
havde dermed spurgt mange, mange flere mennesker og burde
også få et langt sikrere resultat. Deres undersøgelse viste med
stor sikkerhed, at Alfred M. Landon ville blive USA’s næste præsident,
mens Gallups ”lille” undersøgelse på 5000 mennesker
viste, at Roosevelt ville blive genvalgt.
Roosevelt vandt med sejr i alle stater undtagen Maine og Vermont.
(Fra Thomas Harder)
nu er ‘noget’ jo et vidt begreb, og sådan som jeg har forstået vores system, så skulle den person du skriver om have adgang til 3000 forskellige computere. Men igen – jeg mener, at så længe vi og The Literary Digest husker at oplyse læserne om, hvordan resultatet er fremkommet, så kan de bruge det. Hvordan lå Roosevelt forresten i den måling?
vh thomas
Kære Thomas
Jeg har lige været inde og stemme et par gange uden problemer, jeg lukker bare min browser ned eller jeg kan bruge forskellige browsere og på den måde booste resultatet. Og så vidt jeg husker kan jeg vist også bede min computer om at slette cookies, så gælder det ikke.
Jeg husker ikke resultatet af Roosevelt’s måling, men pointen burde være klar alligevel. Og dagens historie om de 5.7 millioner svenskere kan også være kritisk overfor, når man i spørgsmåls formuleringen bruge rodet “konflikt”. Men det vil gerne se nærmere på før jeg siger mere.
Men igen historien fra i går kan ikke bruges til andet end at bekræfte en vinkel man har i forvejen.
Venlig hilsen
Paul
nu må jeg indrømme, at jeg ikke engang er klar over, hvilken historie fra i går du hentyder til – for nationen!-afstemninger eller webpolls indgår i rigtig mange af de historier jeg laver. Og jeg går sjældent efter en bestemt vinkel, og som regel er det da også de mest overraskende resultater, der kaster historier af sig. vh t
marts 14, 2011 kl. 11:56 am |
[...] Metelmann vs. Haarder Explore posts in the same categories: Brug af undersøgelser, Interessante eksempler, Kvantitativ metode, Spørgeskemaer [...]