Onbegrijpelijk goed onderzoek

Toehoorders lezing

Wetenschappers hebben nogal eens de neiging zaken ingewikkelder voor te stellen dan nodig is. Daar zijn verschillende verklaringen voor. De psycholoog Steven Pinker heeft ze in een artikel met de uitdagende titel, “Why Academic Writing Stinks“, op een rij gezet. De eerste verklaring is dat wetenschappers eigenlijk niets te vertellen hebben en dat maskeren met moeilijk taalgebruik. Een hoop blabla moet verhullen dat de keizer geen kleren draagt.

Een andere verklaring stelt dat wetenschappers niet anders kunnen omdat het onderwerp waar ze over schrijven vaak abstract en complex is.

De derde verklaring is dat wetenschappers met opgeklopt, zwaarwichtig taalgebruik proberen te laten zien dat ze hun vak op een serieuze manier beoefenen. Ze willen competent overkomen. Er zijn experimenten die laten zien dat er inderdaad een relatie is tussen taalgebruik en competent overkomen. Daarvoor moeten we terug naar 1970 en een presentatie van Dr. Myron L. Fox.

Het betoog van Dr. Fox

In een klassiek experiment woonden drie groepen professionals een lezing bij van dr. Fox met de titel “Mathematische speltheorie en haar toepassing op de artsenopleiding”. Fox werd geïntroduceerd als een leerling van John von Neumann en als een autoriteit op gebied van speltheorie. Hij had over dit onderwerp talloze boeken en artikelen geschreven.

In werkelijkheid was Fox een acteur die niets van speltheorie wist. Hij had ter voorbereiding één artikel over het onderwerp gelezen. De onderzoekers achter het experiment hadden er vervolgens alles aan gedaan om zijn lezing vol te stoppen met dubbelzinnigheden, verzonnen woorden, tegenstrijdigheden en onzinnige conclusies.

De acteur bereidde zich een dag voor, trok een mooi pak aan en hield een levendig met humor doorspekt verhaal waar geen touw aan vast te knopen viel.

De lezing is op film vastgelegd en nog steeds te zien op Youtube. Na de presentatie beantwoordden de toehoorders een vragenlijst. Ze bleken vrijwel allemaal onder de indruk. Fox werd gezien als een expert op zijn vakgebied. Niemand had door dat het hele verhaal flauwekul was. Een enkeling had milde kritiek: “Een te intellectuele presentatie. Mijn invalshoek is meer pragmatisch”.

Onbegrijpelijk, maar wel onder de indruk

Tien jaar na het experiment onderzocht Scott Armstrong of het dr. Fox-effect ook opgaat voor het geschreven woord. Hij bewerkte passages uit verschillende wetenschappelijke artikelen en zorgde voor drie varianten: een makkelijk leesbare, een gemiddelde en een moeilijk leesbare versie. Dat deed hij door zinslengten te variëren en het vermijden of juist toelaten van lange en ingewikkelde woorden. Vervolgens vroeg hij aan tweeëndertig academici of de auteurs van de artikelen hun onderzoek competent hadden uitgevoerd. Het bleek dat de minst leesbare passages het hoogst werden gewaardeerd. Hoe slechter leesbaar het stuk, hoe meer men onder de indruk was.

De terugkeer van dr. Fox

Ruim veertig jaar later is het experiment uit 1970 door twee onderzoekers uit Israël herhaald. Verschillende groepen studenten kregen de film van de lezing te zien en beantwoordden daarna een reeks vragen. Opnieuw bleek vrijwel iedereen die dr. Fox had zien optreden onder de indruk, ook studenten die echt iets van speltheorie afwisten.

Het optreden van de “speltheoreticus” werd (opnieuw) positief beoordeeld, maar hadden de studenten ook iets van de lezing geleerd? Dat bleek niet het geval. Je lijkt met veel jargon en ingewikkeld, wijdlopig en abstract woordgebruik weliswaar competent, maar je lezers of toehoorders steken er niets van op. Het moet dus anders. Een mooie taak voor de wetenschapsjournalistiek.

“In werkelijkheid was Fox een acteur die niets van speltheorie wist.”


Dr. Fox aan het werk