Onderzoek naar onderzoek

Kwaliteit

Verband tussen research en gezondheid aantonen is moeilijk

Onderzoek is de motor van de vooruitgang in de geneeskunde. Maar hoe bepaalt een financier achteraf of het uitgevoerde onderzoek van hoge kwaliteit was? En vooral: hoe toont hij aan dat er gezondheidswinst is geboekt? Methoden en toepassing staan nog in de kinderschoenen.

De roep om verantwoording van publieke bestedingen neemt toe. Als de overheid bijvoorbeeld geld verspilt aan een zinloze spoorlijn komt er minstens een parlementair onderzoek. Ook de uitgaven van de collectebusfondsen staan in een groeiende belangstelling. De ‘gezondheidsfondsen’ geven veel geld uit aan medisch onderzoek, goed voor een aanzienlijk deel van de universitaire research. Hun doel is het bevorderen van de gezondheid en de kwaliteit van leven van de patiënten. Medische onderzoekers en onderzoeksinstituten werken ook voor dat doel. Voor fondsen én onderzoekers is het van wezensbelang achteraf aan te tonen dat het onderzoek verschil heeft gemaakt. Maar het is niet eenvoudig om precies aan te wijzen welke effecten onderzoek heeft op de klinische praktijk. De breed gehanteerde citatieanalyse van publicaties (bibliometrie) geeft geen inzicht in die effecten. Nederlands onderzoek maakt bovendien op wereldschaal hoogstens enkele procenten uit en de meeste projecten leveren niet meer op dan een bouwsteentje kennis.

De noodzaak om duidelijker rekenschap te geven door het meten van de opbrengsten van onderzoek begint echter door te dringen. Zo bracht de Koninklijke Nederlandse Akademie van Wetenschappen (KNAW) in 2002 het rapport ‘The societal impact of (applied) health research’ uit. Het rapport stelt dat onderzoeksinstituten de maatschappelijke invloed van hun research zouden moeten meten, maar concludeert dat een eenduidige, breed geaccepteerde methodologie daartoe ontbreekt. Verder geeft het rapport een reeks mogelijke indicatoren voor maatschappelijke impact en beveelt het aan die toe te voegen aan de vanaf 2003 vernieuwde procedure voor kwaliteitsevaluatie voor universitair onderzoek. Enkele pilots moeten de weg wijzen.

Professor Lex Bouter, directeur van het EMGO institute, het instituut voor extramuraal geneeskundig onderzoek van het VUmc, werkte mee aan het KNAW-rapport. Het EMGO verricht baanbrekend werk bij de toepassing van de indicatoren. Bouter: ‘In principe moeten we het uitgeven van publiek geld verantwoorden. We willen daarom de maatschappelijke relevantie van onze onderzoeksresultaten bepalen, maar dat is lastig. Citatieanalyse geeft wel harde cijfers, maar wat betekenen die precies? We hebben nu indicatoren opgesteld, maar we weten nog niet goed in hoeverre die een afspiegeling zijn van maatschappelijke relevantie.’ Het EMGO-jaar-verslag vermeldt bijvoorbeeld de deelname aan het ontwerpen van klinische richtlijnen, de aandacht voor het onderzoek in de media en op internet, en de bijdrage van de onderzoeksresultaten aan het postacademische onderwijs.

Waterkanalen

Toch heeft het instituut het nog relatief gemakkelijk omdat het zich richt op toegepast onderzoek. De bedoeling van het KNAW-rapport is om uiteindelijk ook het fundamentele onderzoek langs de meetlat te leggen, en dat heeft een lange adem. De Nierstichting heeft onlangs haar onderzoeksprogramma breed geëvalueerd door analyse van tien jaar onderzoeksprojecten en publicaties, gecombineerd met interviews met de leiders van de belangrijkste groepen. Een voorbeeld uit de evaluatie is de vondst van het transporteiwit aquaporine-2 (AQP2). De figuur toont onderzoek en resultaten van de groep Celfysiologie in Nijmegen.

Het onderwerp van onderzoek is de werking van de nierbuisjes. De glomeruli filteren het bloed tot voorurine, de nierbuisjes reabsorberen het grootste deel via ‘kanalen’, poriën in de membranen van de cellen. Begin jaren negentig was al bekend dat het meeste vocht door het waterkanaal aquaporine-1 terugvloeit, maar de fijne afstemming moest op een andere manier verlopen. In een Nierstichting-onderzoek slaagde de groep erin het nieuwe waterkanaal, aquaporine-2 en de regulering door het hormoon vasopressine te karakteriseren. De groep publiceerde het resultaat in 1994 in Science.

De link met de kliniek is nefrogene diabetes insipidus (NDI), een aangeboren afwijking waardoor de nierbuisjes de voorurine niet meer concentreren. Oorzaak: een genmutatie van de vasopressinereceptor of, zo bleek, van AQP2. Internationaal kwam veel onderzoek op gang naar het eiwit. Het mechanisme van de genetische verstoring is intussen behoorlijk opgehelderd: een genmutatie resulteert in het ‘misvouwen’ van het AQP2-eiwit, waardoor het achterblijft in de celorganellen en niet de membraan bereikt. Het waterkanaal bestaat uit vier onderdelen AQP2, één afwijkend eiwit verstoort de routering in de cel.

Wat heeft de patiënt eraan? Diagnose stellen gaat sneller, de behandeling kan eerder starten en NDI-families krijgen beter genetisch advies, maar de behandeling bestaat nog altijd uit symptoombestrijding. AQP2 is een veelbelovend doelwit voor nieuwe diuretica en nieuwe medicijnen tegen NDI en verstoorde calciumuitscheiding. Onderzoekers kijken ook naar begeleidingsmoleculen om de routering in de cellen te herstellen. Gentherapie ligt in het verschiet. De belangrijke vondst van AQP2 betekent daarmee na tien jaar nog relatief weinig voor de patiënten.

Payback

Hoeveel jaar zal er gaan zitten tussen fundamenteel onderzoek en de praktijk? Een studie van de Wellcome Trust, een Brits fonds, van enkele jaren geleden onderzocht ‘generaties’ van artikelen vanuit vijftien Britse klinische richt-lijnen. De referenties in de richtlijnen vormen de eerste generatie, referenties in de eerste generatie vormen de tweede, enzovoort. Het percentage fundamentele publicaties nam toe tot 8 in de vierde generatie. De verwachting voor de periode tussen het tijdstip van publicatie van die vierde generatie en van de richtlijnen zelf bedraagt 17 jaar. Jonathan Grant, toenmalig hoofd van de beleidsafdeling van de Trust: ‘Deze methode om kennis te traceren is goed bruikbaar. Maar voor het meten van researchopbrengsten is meer nodig dan bibliometrische analyse. Je moet kwantitatieve en kwalitatieve methoden combineren omdat ze elkaar aanvullen, en daarbij een lange periode nemen en onderzoek longitudinaal volgen.’

Grant onderzocht in samenwerking met onderzoekers van Brunel University (Uxbridge, Groot-Brittannië) de effecten van diabetesonderzoek uit begin jaren tachtig van een groep in Newcastle. De studie combineerde citatieanalyse met enquêtes onder co-auteurs en interviews met onderzoekers. Drie opeenvolgende generaties publicaties vertoonden geen verschuiving naar klinische artikelen, een aanwijzing voor de wederzijdse invloed van fundamenteel en toegepast onderzoek. Er waren relatief weinig publicaties met veel effect op de praktijk. Een paper over management van diabetici in openhartchirurgie sprong eruit, maar deze werd slechts tien keer geciteerd!

De onderzoeksgroep van Brunel, Health Economics Research Group (HERG), bedacht ook het ‘payback-model’ voor het vaststellen van de opbrengsten van onderzoek. Het model geeft categorieën voor resultaten en een fasering van de researchcyclus, van onderwerpkeuze naar invoering van resultaten in de praktijk. Het idee is om gestructureerde verhalen te maken op grond van case studies die berusten op citatieanalyse en interviews. In samenwerking met Grant, intussen hoofd van Rand Europe in Cambridge, is het model toegepast op vijftien onderzoeksprojecten van de Britse Arthritis Research Campaign (ARC) uit begin jaren negentig.

Ook hier leverden veel projecten niet meer dan stapsgewijze vooruitgang op, maar een vijfjarige subsidie aan het Kennedy Institute of Rheumatology had grote gevolgen. De onderzoekers toonden in patiënten de effectiviteit aan van monoklonale (gerichte) antistoffen tegen TNF-, een ontstekingsbevorderende afweerstof. Het instituut onderzocht eerder het mechanisme van reumatoïde gewrichtsontstekingen en voerde het voorbereidende dieronderzoek uit. Nu, vijftien tot twintig jaar na het fundamentele onderzoek, zijn er medicijnen op de markt die TNF- remmen of de TNF--receptor binden (Remicade, Humira, Enbrel). De middelen leiden tot significante verbetering in 70 procent van de patiënten met reumatoïde artritis. Wereldwijd slikken naar schatting al 500.000 mensen TNF--remmers. Toch dachten de onderzoekers zelf vooraf niet dat er succesvolle, langdurig werkzame medicijnen uit het project zouden voortkomen. De ARC beschouwde de aanvraag zelfs als controversieel.

Prijzen

Het payback-model geeft inzicht in de opbrengsten van een afgebakende hoeveelheid research. Jonathan Grant: ‘De ARC-studie toont aan dat de methodologie robuust is en breed toepasbaar. We willen onderzoek gaan doen naar andere disciplines en in andere landen, bijvoorbeeld in Nederland. Er is veel belangstelling voor het rapport, van onder meer de Wellcome Trust, Britse fondsen en de overheid.’ De studie constateert dat de vertaling van projectresultaten naar de klinische praktijk afhankelijk is van een bevlogen onderzoeker als drijvende kracht, dat de opbrengsten divers zijn, en dat korte, gefocuste projecten relatief succesvol zijn.

De aanbeveling is om die bevlogen onderzoekers gericht te ondersteunen, bijvoorbeeld door prijzen in te stellen.

Lex Bouter heeft soortgelijke ideeën. ‘Het EMGO heeft een dubbele doelstelling: wetenschappelijke kwaliteit en maatschappelijk relevante resultaten. Onderzoekers moeten zich dat realiseren. We hebben daarom nu twee jaarlijkse prijzen: voor het beste wetenschappelijke artikel en voor het project met de grootste maatschappelijke impact. En dat maakt verschil voor de houding van de onderzoekers. Op het laatste jaarverslag kreeg ik veel reacties uit het instituut, met voorbeelden van maatschappelijke impact die er nog niet in stonden. De hoop is dat we zo op termijn uitkomen op de beste indicatoren.’

Een voorbeeld van invloed op de praktijk geeft het EMGO-onderzoek naar versterving in verpleeghuizen. Bouter: ‘Zeven jaar geleden ontstond daarover opschudding in de media. Ons onderzoek toonde aan dat vochtonthouding en versterving verantwoord zijn. Dat heeft het maatschappelijk draagvlak sterk beïnvloed. Daarnaast hebben we bijvoorbeeld ook de gevolgen van de euthanasiewetgeving onderzocht, maar de maatschappelijke effecten van dat onderzoek zijn moeilijker te traceren.’ Bouter is ook geïnteresseerd in klinische richtlijnen. ‘Waar en hoe vaak komen onze publicaties terecht in richtlijnen, en wat betekent dat? Er is een inhoudelijke analyse nodig over een langere periode om die kennisstroom na te gaan.’

Sleutelartikelen

Uiteindelijk zou onderzoeksbeleid evidence-based moeten zijn. Bijvoorbeeld, bij welke verhouding tussen fundamenteel en toegepast, klinisch en niet-klinisch onderzoek krijg je goede langetermijneffecten op de klinische praktijk? Het algemene verband tussen onderzoek en gezondheid is echter moeilijk aan te tonen. Een nog altijd veel aangehaalde studie is die van Comroe & Dripps (1976). Zij trachtten sleutelartikelen te bepalen van de ‘essentiële kennis’ voor de tien belangrijkste klinische doorbraken in de cardiovasculaire en pulmonaire geneeskunde. Met de hulp van veertig artsen, vijftig specialisen en 140 adviseurs kwamen ze uit op 529 artikelen, waarbij ze teruggingen tot onderzoek uit de 18de eeuw! Conclusie: 61,7 procent van de sleutelartikelen betrof fundamenteel onderzoek.

Een recente poging van Grant en de Brunel-groep de studie te herhalen voor de neonatale intensive care strandde echter op een onwerkbare methodologie. Grant: ‘Bovendien variëren de resultaten enorm. We hebben vervolgens de methode van publicatie-generaties toegepast op de verzamelde gegevens en kregen cijfers van 2 tot 23 procent fundamenteel onderzoek in de vierde generatie. Het heeft waarschijnlijk te maken met de tijdschaal: de onderzoekscycli lopen niet synchroon zodat je naar verschillende onderzoeksfasen kijkt.’

Een andere vraag is wanneer het beter is onderzoek te sturen dan wel open inschrijving te hanteren. Grant: ‘Ook hierop hebben we nog geen goed antwoord. Ik ken overigens wel duidelijke voorbeelden waarin sturing heeft gewerkt.’ Vooral fundamenteel onderzoek is niet in detail te sturen, maar ‘het is niet slecht een zak geld neer te zetten voor een onderwerp’, aldus Lex Bouter. ‘Men moet echter de maakbaarheid van onderzoek niet overschatten. Zinvolle sturing is goed, maar slimme onderzoekers moeten ook voor een deel de vrije hand krijgen.’

Wat voor beleid onder welke omstandigheden de beste resultaten levert, is dus nog niet bekend. Wel duidelijk is dat onderzoeksfinanciers er verstandig aan doen de resultaten van hun research regelmatig en breed te traceren. Voor fundamentele research is het noodzakelijk langere perioden van tien tot twintig jaar te bekijken. Naarmate er meer evaluaties komen, komen er meer gegevens om onderling te vergelijken. Op den duur kunnen organisaties zo criteria ontwikkelen voor de kwaliteit van hun bestedingen en hun beleid.

Meer onderzoek naar onderzoek is nodig. Wetenschap vordert niet langs een rechte weg van fundamenteel naar toegepast en doorgaans in kleine stapjes. Maar dat maakt het des te noodzakelijker om te laten zien dat onderzoek effect heeft en nodig blijft. Bouter: ‘Politiek en ambtenarij denken dat het af is, dat we alleen nog maar resultaten uit het verleden hoeven te implementeren, maar dat is helemaal niet zo. Ook daarom is het belangrijk je achteraf te verantwoorden. Het gaat om versterking van het imago van wetenschappelijk onderzoek door het aantonen van de maatschap-pelijke relevantie.’

Arjen Rienks, journalist

Referenties

• KNAW-rapport:

www.knaw.nl/publicaties/pdf/20021098.pdf

  • EMGO-jaarverslag 2003:

www.emgo.nl

  • Nierstichting:

www.nierstichting.nl

  • Deen PM et al. Requirement of human renal water channel aquaporin-2 for vasopressin-dependent concentration of urine. Science 1994; 264 (5155): 92-5.  • Grant J et al. Evaluating ‘payback’ on biomedical research from papers cited in clinical guidelines: applied bibliometric study. BMJ 2000; 320: 1107.  • Brunel HERG, publicaties over payback van medisch onderzoek:

www.brunel.ac.uk/depts/herg/publications/payback.htm

  • Rand Europe, ARC-rapporten:

www.rand.org/randeurope/research/publications/2004pubs.html

  • Comroe JH, Dripps RD. Scientific Basis for the Support of Biomedical Science. Science 1976; 192: 105.

Klik hier voor het PDF-bestand van dit artikel