“Wie weinig weet heeft sterke mening”

Dat was de titel van het m.i. belangrijke artikel in de NRC van 2 augustus 2018. Ik laat het artikel hier integraal volgen.
= = = = = =
Mensen die de minste feitenkennis hebben over autisme, denken dat ze meer van autisme weten dan wetenschappers en artsen. Deze mensen vinden gemiddeld ook vaker dat ouders moeten kunnen besluiten hun kinderen niet te vaccineren tegen de potentieel gevaarlijke kinderziekten de bof, mazelen en rode hond (BMR). Dat blijkt uit onderzoek onder 1.310 Amerikaanse volwassenen, een redelijke afspiegeling van die bevolking, gepubliceerd in het augustusnummer van het wetenschappelijke tijdschrift Social Science & Medicine.

De resultaten zijn een mooie demonstratie van het zogeheten Dunning-Kruger-effect: het verschijnsel dat mensen die ergens het minst van weten, of iets slecht kunnen, de expertise missen om dat te beseffen (en om te beseffen dat anderen er wel goed in zijn). Het Dunning-Kruger-effect is al vaak aangetoond, bijvoorbeeld in de context van schaaktoernooien, rijexamens en interviewvaardigheden, en nu ook in de context van ideeën over vaccinatie en autisme. Ruim een derde van de ondervraagden dacht dat ze meer van autisme wisten dan artsen (36 procent) en wetenschappers (34 procent).

Die zelfoverschatters vertrouwden meer op familie, vrienden en beroemdheden voor hun informatie over vaccinaties dan mensen met een realistischer beeld van hun eigen kennis. Ze vonden ook dat zulke leken een grotere rol moeten krijgen in beleidsvorming, én ze dachten dus negatiever over verplichte vaccinatie.

Tegen zelfoverschatters zeggen dat ze ongelijk hebben heeft geen zin

Je weet niet wat je niet weet – en dat leidt tot fouten en arrogantie

In de Verenigde Staten is de BMR-vaccinatie voor kinderen die naar een dagverblijf gaan en voor schoolgaande kinderen in principe verplicht, al kan iemand een beroep doen op levensovertuiging of medische redenen om een kind niet te laten inenten.

Driekwart van de mensen in het Amerikaanse onderzoek was ook gevraagd of ze dachten dat het vaccineren van jonge kinderen die kinderen autistisch kan maken. Op een schaal van 0 (‘zeker wel’) tot 1 (‘zeker niet’) was de gemiddelde score 0,41. In werkelijkheid is er geen enkel bewijs voor een verband tussen vaccinatie en autisme. Dat er toch mensen in geloven, komt doordat de Britse anti-vaccinatie-activist Andrew Wakefield in 1998 gefraudeerd onderzoek gepubliceerd kreeg waarin hij beweerde zo’n verband voor het BMR-vaccin te hebben aangetoond (dat artikel is later teruggetrokken). In dit nieuwe onderzoek dachten de mensen die het sterkst in dat verband geloofden dat hun kennis over autisme bijna gelijk was aan die van artsen en wetenschappers. Mensen die er niet in geloofden, schatten hun eigen kennis lager, dus realistischer in.

De onderzoekers schrijven dat beleidsmakers zelfoverschatting moeten bestrijden. Maar niet door tegen mensen te zeggen dat ze ongelijk hebben of verkeerd geïnformeerd zijn. „Er is veel onderzoek waaruit blijkt dat dat niet effectief is”, mailt eerste auteur Matthew Motta van de universiteit van Pennsylvania. Beter zou het zijn, denkt hij, om mensen goede informatie te geven en om te proberen het vertrouwen in de wetenschap te vergroten.

Motta weet uiteraard niet zeker of de resultaten in Nederland precies hetzelfde zouden zijn. Maar dat is zeker mogelijk, zegt hij, „als de algemene kennis over autisme in Nederland even slecht is als in de VS en/of als er evenveel onjuiste informatie rondgaat”.

Een versie van dit artikel verscheen ook in NRC Handelsblad van 3 augustus 2018

= = = = = =
Een drietal toevoegingen:
1) Het effect wordt al in de Bijbel genoemd (“Zalig zijn de onwetenden”), al heet het daar natuurlijk niet zo.
2) Het komt me verder voor dat het Dunning-Kruger-effect zeer zeker ook opgaat voor veel bridgers, met name ten aanzien van hun kennis over de Bridgespelregels.
3) En als we in dit licht bezien kijken naar de sterke, niet wetenschappelijk onderbouwde opvattingen van Trump krijgen we opnieuw een indruk hoe de man in elkaar zit.

Wetenschappelijk bewijs

Je hebt kleine leugenaars, grote leugenaars, je hebt Trump en je hebt statistieken. 

Met cijfers kan je maar wat aanrommelen zodat je de toehoorder op het verkeerde been kan zetten. De meest bekende methode is Simpson’s paradox:

Maar het kan veel sophisticater. De volgende video laat zien dat er aan de bewijskracht van de meeste onderzoeken zou moeten worden getwijfeld, ondanks dat veel onderzoeken wellicht toch de juiste conclusie trekken:

Het hangt er dus vanaf bij welke p-waarde je de aangevoerde onderzoeksresultaten nog accepteert als bewijs. Naarmate een onderzoeksresultaat moeilijker te verkrijgen is, en daarmee het onderzoek dus ook moeilijker te controleren, cq. te herhalen is, wordt het gemakkelijker beweringen te doen. Gevoelsmatig zijn tegenwoordig Reclameuitingen ongeveer per definitie leugens als erbij staat dat het “wetenschappelijk is aangetoond”. (Maar dat zou ik weer moeten aantonen met onderzoek.). Ondertussen wordt “de wetenschap” wel in diskrediet gebracht.

Je zou ervoor kunnen pleiten dat de overheid via een onderzoeksintituut als TNO of door subsidie te verlenen aan iets als KEMA-keur om dergelijke reclameuitingen te laten controleren, wat hoge eisen zou stellen aan het ethisch gehalte van de top van zo’n TNO/KEMA-instituut, maar om deze trent tegen te gaan en de naam van “de wetenschap” te redden stel ik voor om een hoge financiële boete te zetten op niet-herhaalbare “wetenschappelijke” onderzoeken. Een instituut die dergelijke reclameuitingen controleert zou in deze tijd vanuit die boetes zichzelf moeten kunnen bedruipen, zelfs als een aanzienlijk deel van die boetes gereserveerd zou (moeten) worden voor rechtszaken.