Een wetenschappelijk artikel lezen: de drie-stappenmethode van S. Keshav (‘How to Read a Paper’)
Een paper van de eerste regel tot de laatste lezen is traag en de makkelijkste manier om de kern kwijt te raken. De drie-stappenmethode van S. Keshav leest het artikel drie keer, elke keer met een ander doel: een overzicht in 5–10 minuten, tot een uur voor de inhoud en een diepe derde ronde alleen voor de papers die ertoe doen. Wat je in elke ronde doet, de vijf C’s, hoe je de rondes gebruikt voor een literatuuronderzoek, en een video van 3 minuten die ze op een tablet laat zien.
De meesten van ons lezen een wetenschappelijk artikel zoals we een boek lezen: van de eerste regel tot de laatste. Dat is traag, en het is de makkelijkste manier om de hoofdzaak kwijt te raken. De methode die werkt, is het artikel drie keer lezen, elke ronde met een ander doel. De eerste ronde duurt vijf tot tien minuten en vertelt je of je door moet gaan; de tweede duurt tot een uur en geeft je de inhoud; de derde duurt uren en is alleen voor de papers die je grondig moet kennen. De methode komt uit een notitie van twee pagina’s, ‘How to Read a Paper’ (2007), van S. Keshav, een informaticus die toen aan de University of Waterloo werkte, en het is het nuttigste wat een beginnende promovendus over lezen kan leren.
Hier is hij in drie minuten, getoond op een tablet (de video is in het Engels). De tekst hieronder geeft de details.
De drie rondes in één tabel
| Wat je leest | Hoe lang | Wat je aan het eind hebt | |
|---|---|---|---|
| Ronde 1 | Titel, abstract, inleiding; de kopjes van de secties; de conclusies; een blik op de referenties | 5–10 minuten | De vijf C’s, en een beslissing: hier stoppen, of doorlezen |
| Ronde 2 | Het hele artikel zorgvuldig, met overslaan van details zoals bewijzen; de figuren van dichtbij; aantekeningen in de kantlijn; de referenties die het lezen waard zijn | Tot een uur | De kernboodschap van het artikel, met het bewijs ervoor, goed genoeg om aan iemand anders uit te leggen |
| Ronde 3 | Alles, terwijl je het werk opnieuw opbouwt vanuit de aannames van de auteurs zelf | 4–5 uur voor een beginner, ongeveer een uur met ervaring | De structuur uit je hoofd, de sterke en zwakke punten, en ideeën voor je eigen werk |
Ronde 1: het overzicht
De eerste ronde is een snelle scan om een indruk van het artikel te krijgen, en hij zou vijf tot tien minuten moeten duren. De stappen van Keshav:
- Lees de titel, het abstract en de inleiding zorgvuldig.
- Lees de kopjes van de secties en subsecties, en negeer al het andere.
- Lees de conclusies.
- Kijk de referenties door en vink af wat je al gelezen hebt.
Aan het eind van de eerste ronde zou je de vijf C’s moeten kunnen beantwoorden:
- Category (categorie). Wat voor soort artikel is dit? Een meetpaper, een analyse van een bestaand systeem, een beschrijving van een onderzoeksprototype?
- Context (context). Met welke andere papers hangt het samen? Welke theoretische grondslagen zijn gebruikt om het probleem te analyseren?
- Correctness (correctheid). Lijken de aannames geldig?
- Contributions (bijdragen). Wat zijn de belangrijkste bijdragen van het artikel?
- Clarity (helderheid). Is het artikel goed geschreven?
Beslis dan. Je kunt ervoor kiezen niet verder te lezen, omdat het artikel je niet interesseert, of omdat je niet genoeg van het vakgebied weet om het te begrijpen, of omdat de auteurs ongeldige aannames doen. De meeste papers die je oppakt zouden hier moeten eindigen; dat is het doel van de ronde, niet een mislukking ervan. Keshav voegt er een les voor schrijvers aan toe: de meeste reviewers en lezers doen precies één ronde, dus kies sectiekoppen die op zichzelf begrijpelijk zijn en schrijf een abstract dat op zichzelf staat.
Ronde 2: de inhoud
Lees in de tweede ronde het artikel met meer zorg, maar negeer details zoals bewijzen. Noteer de kernpunten, of zet opmerkingen in de kantlijn, terwijl je leest. Twee dingen krijgen specifieke aandacht:
- De figuren, diagrammen en andere illustraties. Let vooral op grafieken. Zijn de assen goed gelabeld? Worden de resultaten met foutbalken getoond, zodat de conclusies statistisch significant zijn? Het bewijs van een artikel zit vooral in de figuren, en die staan zelden naast de tekst die ze bespreekt, dus hier gaat de tijd in zitten.
- De referenties. Markeer de relevante ongelezen referenties om later te lezen. Zo leer je meer over de achtergrond van het artikel, en het voedt het literatuuronderzoek hieronder.
Deze ronde duurt tot een uur voor een ervaren lezer. Aan het eind ervan zou je de inhoud van het artikel moeten kunnen vatten en de kernboodschap, met het bewijs ervoor, aan iemand anders kunnen samenvatten. Dat is het juiste niveau van begrip voor een artikel dat je interesseert maar dat niet in je eigen onderzoeksspecialisme ligt.
Soms begrijp je een artikel aan het eind van de tweede ronde niet. Het onderwerp kan nieuw voor je zijn, de auteurs kunnen een bewijs of een experimentele techniek gebruiken die je niet kent, of het artikel kan slecht geschreven zijn. Keshav geeft drie uitwegen: het artikel wegleggen in de hoop dat je het niet nodig hebt; er later op terugkomen, nadat je de achtergrondliteratuur hebt gelezen; of doorzetten en naar de derde ronde gaan.
Ronde 3: het artikel virtueel opnieuw implementeren
De derde ronde is voor een artikel dat je volledig moet begrijpen, zoals het artikel dat het dichtst bij je proefschrift ligt of een artikel dat je reviewt. De sleutel is proberen het virtueel opnieuw te implementeren: dezelfde aannames doen als de auteurs en het werk opnieuw opbouwen. Door je reconstructie met het echte artikel te vergelijken vind je niet alleen de vernieuwingen, maar ook de verborgen gebreken en aannames. De ronde vraagt grote aandacht voor detail: trek elke aanname in elke bewering in twijfel, en bedenk hoe je zelf elk idee zou presenteren. Uit die vergelijking komen ook de ideeën voor toekomstig werk, dus noteer ze onderweg.
Een beginner is er vier of vijf uur mee bezig, een ervaren lezer ongeveer een uur. Aan het eind zou je de hele structuur van het artikel uit je hoofd moeten kunnen reconstrueren, de sterke en zwakke punten kunnen benoemen, en kunnen wijzen op impliciete aannames, ontbrekende citaties en mogelijke problemen met de technieken.
De drie rondes gebruiken voor een literatuuronderzoek
Je vaardigheid in het lezen van papers wordt op de proef gesteld in een literatuuronderzoek, waarbij je tientallen papers leest, vaak in een vakgebied dat nieuw voor je is. Keshav gebruikt de rondes om ze te kiezen:
- Gebruik een academische zoekmachine en een paar goed gekozen trefwoorden om drie tot vijf recente papers in het gebied te vinden. Doe bij elk één ronde en lees dan hun secties over gerelateerd werk. Met een beetje geluk is een ervan een overzichtsartikel en ben je klaar; zo niet, ga dan door.
- Zoek de citaties die deze papers delen en de auteursnamen die terugkomen. Dat zijn de sleutelpapers en de sleutelonderzoekers van het gebied. Download de sleutelpapers en leg ze apart, en bekijk dan het recente werk van de sleutelonderzoekers op hun websites.
- Zoek uit waar het gebied publiceert: ga naar de websites van de belangrijkste conferenties of tijdschriften, bekijk de recente proceedings en pik het gerelateerde werk van hoge kwaliteit eruit.
Die papers, samen met de papers die je apart hebt gelegd, zijn de eerste versie van je literatuuronderzoek. Doe er twee rondes doorheen, en als een ervan naar een sleutelpaper verwijst dat je niet had gevonden, haal het dan op en herhaal.
Waar een lezer die voor papers is gebouwd helpt
De methode werkt met een afdruk en een potlood. Op een tablet maken een paar dingen hem sneller, en die laat de video zien:
- Ronde 1 is een scan van kopjes en abstract, wat traag is op een pagina met twee kolommen waarover je heen en weer moet schuiven. De leesmodus zet het artikel om in één kolom, zodat de kopjes onder elkaar staan en het abstract in één oogopslag te lezen is.
- Ronde 2 leeft in de figuren en de kantlijn. Zet de figuur vast naast de tekst en lees door; tik op een citatie om de referentie te zien zonder je plek kwijt te raken; en je markeringen en aantekeningen gaan terug naar je Zotero- of Mendeley-bibliotheek in plaats van op één apparaat te blijven.
- Ronde 3 is schrijven: omcirkel de stap waaraan je twijfelt en schrijf de vraag ernaast, met de hand. Als je je eigen samenvatting hebt geschreven, vergelijk je die met een paperkaart, die de onderzoeksvraag, methode, data, bevindingen en genoemde beperkingen opsomt met bij elke zin een pagina, en waar je het er niet mee eens bent, open je de pagina.
Veelgestelde vragen
Hoe lang duurt elke ronde?
Vijf tot tien minuten voor de eerste ronde, tot een uur voor de tweede, en vier of vijf uur voor de derde ronde als de methode nieuw voor je is, dalend tot ongeveer een uur met ervaring. De cijfers zijn van Keshav.
Moet ik elk artikel drie keer lezen?
Nee. Het doel van de eerste ronde is beslissen, en voor de meeste papers is de beslissing: stoppen. Een tweede ronde is voor de papers die je interesseren; een derde alleen voor de papers die je grondig moet kennen, zoals de papers die het dichtst bij je eigen proefschrift liggen of een artikel dat je reviewt.
Wat zijn de vijf C’s?
De vijf vragen die je na de eerste ronde moet kunnen beantwoorden: Category (wat voor soort artikel is dit?), Context (op welke papers en theoretische grondslagen bouwt het voort?), Correctness (lijken de aannames geldig?), Contributions (wat zijn de belangrijkste bijdragen?) en Clarity (is het goed geschreven?).
Is de drie-stappenmethode alleen voor informatica?
Keshav schreef hem voor informatica en netwerken, waar hij al bijna twintig jaar aan nieuwe promovendi wordt doorgegeven, maar niets erin is specifiek voor dat vakgebied. De structuur van een wetenschappelijk artikel is elders hetzelfde: abstract, inleiding, methode, resultaten, discussie, referenties. Alleen de vraag wat als ‘opnieuw implementeren’ telt, verandert.
Wat moet ik in de tweede ronde opschrijven?
De kernpunten, zoals ze komen, en opmerkingen in de kantlijn: een bewering waaraan je twijfelt, een figuur waarvan de assen of foutbalken het hoofdresultaat niet ondersteunen, een referentie die je wilt lezen. Bewaar de aantekeningen bij het artikel in plaats van in een apart bestand, zodat ze er zijn in de derde ronde en bij het schrijven.
Wat als ik het artikel na de tweede ronde nog steeds niet begrijp?
Keshav geeft drie keuzes: het wegleggen en hopen dat je het niet nodig hebt; erop terugkomen nadat je de achtergrondliteratuur hebt gelezen waarop het steunt; of doorzetten tot in de derde ronde. Welke de juiste is, hangt af van hoe dicht het artikel bij je eigen werk ligt.
Waar is het origineel?
S. Keshav, "How to Read a Paper," ACM SIGCOMM Computer Communication Review, vol. 37, no. 3, July 2007, pp. 83–84, doi:10.1145/1273445.1273458. Een gratis exemplaar staat op web.stanford.edu, als hand-out bij een cursus. Het zijn twee pagina’s, en ze zijn de tien minuten waard.
Een app gemaakt voor je eerste papers
Als je je eerste papers leest — voor een scriptie, een seminar of een lab waar je net bij bent gekomen — is er nu een app die precies hiervoor is gemaakt: Rectoly: How to Read Papers. Hij leidt je in drie rondes door een artikel, stelt vijf vragen waarvan je de antwoorden vindt door te markeren, en laat je het artikel in je eigen woorden samenvatten, op de pdf’s die je al hebt. Hij komt naar de App Store voor iPad en iPhone; laat je e-mailadres achter op de pagina en we laten je weten wanneer hij er is.