17 januari 2007

Spookstatistici

Wetenschap druppelt langzaam onderzoeksinstellingen uit in de vorm van artikelen. Zogeheten peer-reviewed papers, in wetenschappelijke bladen die niemand buiten het vakgebied ooit leest.

Boven zo’n artikel staan de namen van de mensen die eraan meegewerkt hebben. De onderzoekers en schrijvers worden allemaal genoemd, tot aan de nederige stagiair toe. Je reputatie als wetenschapper is gebaseerd op je publicaties, en hoe vaak die genoemd worden.

Wat voor soort wetenschappers zouden dan niet willen dat hun naam boven een stuk staat? Statistici van farmaceutische bedrijven, blijkbaar. Om de invloed van die bedrijven kleiner te laten lijken, om mensen die geen gesponsord onderzoek willen volgen te misleiden.

Volgens een Deens onderzoek gebeurt dat bij maar liefst 75% van de Deense publicaties waar de industrie bij betrokken is. Denemarken is ongeveer net zo corrupt als Nederland, en er zijn maar een handvol grote farmaceutische bedrijven in de wereld. Het kan haast niet anders of in Nederland gaat het precies zo.

Er zijn nauwelijks kranten die anonieme ingezonden brieven plaatsen, maar voor wetenschappelijke publicaties op een vakgebied waar levens vanaf hangen is het geven van rekenschap blijkbaar niet zo belangrijk meer. Leugens, verdomde leugens en statistici regeren, lijkt het.

9 Reacties:

Anonymous Ionica zei...

Verdorie. Je zou toch denken dat wetenschappers zich niet laten lenen voor dit soort gerommel. Laatst zag ik wat toespelingen op dit soort praktijken en toen hoopte ik nog dat het onzin was en complottheorie.Wat ben ik toch naief.

17 januari 2007 om 12:16  
Blogger Bart Braun zei...

Over gegoochel met statistiek gesproken: Sargasso linkte laatst naar http://www.opinionjournal.com/forms/printThis.html?id=110009531

met de fantastische oneliner: 'half the children are below average in intelligence'.

Ik heb ooit nog overwogen om het boek Innumeracy van George Allen Paulos verplichte literatuur te maken voor al mijn studenten.

17 januari 2007 om 12:23  
Anonymous Anoniem zei...

Dat boek ken ik niet? vertel! LL

17 januari 2007 om 13:40  
Blogger Bart Braun zei...

http://en.wikipedia.org/wiki/Innumeracy_%28book%29

Je mag hem wel lenen :)

17 januari 2007 om 14:08  
Anonymous De Piet zei...

Je kan natuurlijk even kijken in het stukje aan het einde van het artikel waar de geldbronnen in het algemeen wel vermeld zijn....

De oneliner is wel leuk... :)

17 januari 2007 om 14:47  
Blogger Bart Braun zei...

Geldbronnen is één ding, maar het gaat erom dat je ervanuit moet kunnen gaan dat het artikel is geschreven door de mensen die erboven staan.

Ondanks de beste bedoelingen met het inrichten van wetenschap, ligt het risico van een bias altijd op de loer. Bij welk van de volgende artikelen zou je de conclusie dat het medicijn goed werkt kritischer aanzien?


De Piet en zijn Professor (2007)

of

Meneer Eli Lilly, Mevrouw Eli Lilly, De Piet, Eli Lilly-statistici 1 tm/8 en De Piet z'n professor (2007)?

17 januari 2007 om 15:00  
Anonymous De Piet zei...

Je hebt een punt natuurlijk (anders zou je er wsl ook geen verhaal van kunnen maken). Maar dat neemt niet weg dat het ook je eigen verantwoordelijkheid is om kritisch te zijn met wat je leest. You of all people should know.
Heb het overigens even opgezocht op de site van 'Circulation' (vakblad voor mijn soort mensen):

Funding Sources
All sources of support for the research should be listed under this heading.

All grant funding agency abbreviations should be completely spelled out, with the exception of the NIH.

Disclosures
All potential conflicts of interest must be stated within the text of the manuscript, under this heading. This pertains to relationships with pharmaceutical companies, biomedical device manufacturers, or other corporations whose products or services are related to the subject matter of the article. Such relationships include, but are not limited to, employment by an industrial concern, ownership of stock, membership on a standing advisory council or committee, being on the board of directors, or being publicly associated with the company or its products. Other areas of real or perceived conflict of interest could include receiving honoraria or consulting fees or receiving grants or funds from such corporations or individuals representing such corporations.

Dus, als je voortaan wilt weten of er een farmaceutisch belang is: check het. Als die er is, of er lijkt te zijn, dan is het bedrijf er wsl. wel bij gebaat dat het gepubliceerd is. Da's ook niet meer dan logisch.
Maar ook niet-bedrijven hebben een postive-result publication bias. Negatieve resultaten zijn niet alleen onpopulair, maar ook nog eens vaak het resultaat van simpel slecht onderzoek. En dus zal je harder moeten proberen om te bewijzen dat je gelijk hebt.
En statistiek = gegoochel. Per definitie. Vertrouw nooit statistische significantie. Al helemaal als het net significant is. Dan hebben ze wsl. gewoon de test gebruikt waar wel wat uit kwam. Vooral klinische trials hebben daar een handje van.

17 januari 2007 om 17:06  
Anonymous De Piet zei...

En oh ja, over: "Je reputatie als wetenschapper is gebaseerd op je publicaties, en hoe vaak die genoemd worden." Dat wetenschappers strategisch hun naam boven een blad zetten is deels omdat het geil is om je naam daar te hebben staan (toegegeven), maar ook omdat het financierings systeem voor de wetenschap er ontzettend op leunt. Geen publicaties? Pech, geen geld. Tegenwoordig zelfs meer dan vroeger, omdat 'scientific output' helemaal hot is.
Hoorde een paar weken geleden een verhaal over de zoon van een Nobelprijs winnaar die zelf net de Nobelprijs gekregen had (nee, weet niet meer wie het was, maar voor degenen die het een broodje aap vinden: google en gij zult vinden. Then again, alsof alles wat op internet staat waar is. Goed, zie het dan maar als een leuk verhaal wat je op feestjes en blogs verder kan vertellen). Die zoon heeft 10 jaar op een lab gewerkt zonder te publiceren, publiceerde daarna iets revolutionairs, en zat gebakken. Dat is tegenwoordig heel heel heel erg zeldzaam en had bij hem mede te maken met de reputatie van z'n vader...

17 januari 2007 om 17:14  
Anonymous Anoniem zei...

Dit is al oud: de t-Student toets is genoemd naar een statisticus (die ook voor een bedrijf werkte) die onder het pseudoniem Student schreef.... En dit is van begin twintigste eeuw...

Henno

17 januari 2007 om 22:55  

Een reactie plaatsen

<< Home