HOOFDSTUK 93
Veel medisch-wetenschappelijk onderzoek is van onvoldoende kwaliteit
Vertekeningen in onderzoeksresultaten zijn niet altijd te voorkomen, maar in veel medisch wetenschappelijk onderzoek zit zoveel vertekening dat de resultaten nietszeggend zijn. De belangrijkste oorzaken worden hieronder besproken.
Onderzoek naar intersekse of DSD gaat bijna altijd uit van een kleine onderzoekspopulatie. Dat is een moeilijk of zelfs niet op te lossen probleem, simpelweg omdat a) slechts 1,1 procent van de bevolking geboren is met een lichaam dat niet voldoet aan de sociale constructies van man en vrouw[12], en b) van die 1,1 procent minder dan de helft (nog) contact heeft met gezondheidswerkers[19]. Doordat DSD een paraplubegrip is voor een veelheid aan diagnoses, zijn de diverse onderzoekspopulaties bij DSD nog geringer. De geringe onderzoekspopulaties én de pogingen om toch tot grotere onderzoekspopulaties te komen, leiden tot een aantal zwakten in wetenschappelijk onderzoek naar intersekse en DSD.
Hieronder volgt een korte opsomming van vertekeningen die bij veel medisch-wetenschappelijk onderzoek naar DSD voorkomen en die uitgebreid worden besproken in de NNID-uitgave Handreiking DSD & Mensenrechten[14].
Ontbrekende hypothese
In medisch-wetenschappelijk onderzoek onder intersekse mensen waarin het sociaalwetenschappelijk domein wordt betreden, ontbreekt regelmatig een te testen hypothese – vanuit aannames en constateringen wordt naar een resultaat toe gewerkt. Er wordt dan breed data verzameld en daar wordt een conclusie bij gezocht. Vaak volgt de conclusie niet noodzakelijkerwijs uit de data. Zo wordt in publicaties geconcludeerd dat meer zorg nodig is [25 , 29], terwijl dat niet de onderzoeksvraag was en zonder dat het onderzoek bevestigt dat meer zorg een oplossing voor het geconstateerde probleem is. In een andere publicatie wordt in de samenvatting en de inleiding gesteld dat ‘een beter begrip van de opvoedingservaringen van vrouwelijke verzorgers […] de ontwikkeling van geïndividualiseerde interventies [zal] vergemakkelijken’ zonder dat dit uit de conclusie blijkt en zonder dat dit in de tekst met argumenten onderbouwd wordt[16].
Kleine onderzoekspopulatie
Een onderzoekspopulatie van dertig personen of minder is in onderzoek naar intersekse of DSD nog steeds niet ongebruikelijk. Vaak wordt aangenomen dat dit komt door de zeldzaamheid van specifieke diagnoses. Hoewel alle Nederlandse intersekse mensen bij elkaar een groep vormen die bijna zo groot is als de bevolking van Breda, is vooral bij zeldzame DSD-diagnose sprake van een veel kleinere groep. Toch is dat geen reden om met heel kleine onderzoekspopulaties te werken. MRKH, bijvoorbeeld, komt bij ongeveer 1 op de 5000 vrouwen voor. Dat betekent dat in Nederland ongeveer 1770 vrouwen deze diagnose hebben. Het androgeenongevoeligheidsyndroom (AOS) is nog zeldzamer dan MRKH – naar schatting wonen in Nederland tussen de 89 en 442 mensen met AOS[7]. Deze cijfers laten zien dat heel kleine onderzoekspopulaties ook bij deze DSD’s niet per se noodzakelijk zijn.
Dat deze mensen niet beschikbaar zijn, is voor een deel te verklaren uit lost to follow-up.
Lost to follow-up
Een flink deel van de intersekse mensen die ooit door een arts werden behandeld, zijn niet meer te benaderen voor onderzoek. Dit wordt lost to follow-up genoemd. 1Lost to follow-up: patiënten zijn in het geheel niet meer te bereiken, of zij weigeren mee te doen aan onderzoek. 2De lost to follow-up bias is vaak moeilijk te onderscheiden van de non-respondent bias. Bij non-respondent bias is de populatie niet representatief doordat mensen die niet reageren verschillen van mensen die wel reageren om mee te doen aan een onderzoek[3]. Percentages lost to follow-up tussen 25 en 50 procent zijn bij onderzoek naar DSD-diagnoses niet uitzonderlijk [1 , 2 , 9 , 10 , 13]. Bij het omvangrijke Europese dsd-LIFE-onderzoek3Het dsd-Life-onderzoek vond plaats in 16 Europese landen, waaronder Nederland en werd uitgevoerd tussen februari 2014 en september 2015. [11] waren 3100 mensen uitgenodigd waarvan slechts een derde (1040 personen) aan het onderzoek heeft meegewerkt[11].4Onderzoek in Australië naar de behoeften aan informatie onder jongeren met DSD, laat vergelijkbare cijfers zien: van de 314 met succes getraceerde patiënten vulden er slechts 91 (28,9%) de vragenlijst in. Degenen die verloren zijn gegaan voor follow-up kunnen meer of minder voldoen aan de verwachte uitkomst van het onderzoek en zo het werkelijke verband tussen interventie en uitkomst vervormen. In een update op de Chicago consensus statement schrijven de auteurs:
De gewoonte om gegevens over de medische voorgeschiedenis achter te houden, samen met de mogelijkheid van negatieve medische ervaringen, draagt er waarschijnlijk toe bij dat patiënten met DSD’s vaak ‘lost to follow-up’ zijn. [18]
Hiermee geven zij impliciet aan dat de groep die lost to follow-up is, sterk verschilt van de groep die nog wel in zicht is.
Kristman et al. hebben aangetoond dat bij ‘Missing Not At Random’ (MNAR) –daarvan is sprake als patiënten met een onbekende reden wegblijven, en dit is vrijwel altijd het geval bij follow-up onderzoek– en een lost to follow-up percentage van 20% al een aanmerkelijke bias optreedt in de Odds Ratio (OR) [17]. Dergelijke percentages, of hoger, zijn niet ongebruikelijk bij medisch-wetenschappelijk onderzoek naar DSD. De invloed hiervan op de betrouwbaarheid van de onderzoeksresultaten mogen niet worden genegeerd omdat uit onderzoek is gebleken dat bij MNAR de lost to follow-up groep niet overeenkomt met de groep die wel beschikbaar is voor onderzoek [6 , 23].
Als het mogelijk zou zijn de ontbrekende data in een model te beschrijven, zou de ontbrekende data vervangen kunnen worden door objectieve schattingen uit dat model. Maar in de praktijk is het onmogelijk dat model te kennen omdat alleen inzicht bestaat in de data die wel beschikbaar is[4 , 17 , 20 , 24].5De Zweedse neuro-science-onderzoeker Kristoffer Magnusson heeft in zijn proefschrift aangetoond dat zogenaamde linear mixed-effects models (LLM’s) niet bruikbaar zijn om vertekening door MNAR te voorkomen [20]. Magnusson heeft een verkorte versie ook als blog gepubliceerd: LINK
Selectie-bias
Er zijn verschillende omstandigheden waaronder onderzoeksresultaten niet representatief zijn voor de gehele populatie. Zojuist is lost to follow-up al genoemd, maar ook observation selection bias 6Observation selection bias: als alle gevangen vissen langer zijn dan 15 cm, kun je niet concluderen dat in een meer alle vissen langer zijn dan 15 cm als je met je net geen vissen kunt vangen die kleiner zijn dan 15 cm.[8], self-selection bias 7Self selection bias: Zelfselectie betekent dat het (volledig) aan mensen wordt overgelaten om zichzelf voor het onderzoek te selecteren [5 , 15]. Met een oproep op het forum van een patiëntenorganisatie, zullen leden van die organisatie oververtegenwoordigd zijn in het onderzoek en bovendien is niet te bepalen wat de beweegredenen zijn van mensen die niet hebben gereageerd., solicitation sampling bias8Solicitation sampling bias: mensen die geen gebruik maken van Facebook blijven onzichtbaar in de onderzoeksresultaten als een oproep tot deelname alleen op Facebook heeft gestaan. [30] en healthy user bias9Healthy user bias: vertekening als gevolg van het gedrag van de patiënten of door de onderliggende patiëntenkenmerken waardoor via beschrijvend onderzoeken drastisch verbeterde gezondheidsresultaten worden gevonden die later in twijfel worden getrokken als gerandomiseerd gecontroleerd onderzoek tegenstrijdige resultaten aangeeft.[27] kunnen tot een vertekening van de onderzoeksresultaten leiden. Hoewel in de meeste onderzoeken naar intersekse of DSD deze selectiebiassen wel worden genoemd, wordt vaak zonder onderbouwing aangenomen dat de vertekening klein is.
Vertekeningen door tijd en ruimte
Om toch tot een grote(re) onderzoekspopulatie te komen, wordt soms onderzoek gedaan naar mensen met verschillende diagnoses, die in verschillende landen met een verschillende cultuur en verschillende gezondheidszorg, in verschillende periodes in verschillende centra zijn behandeld. Dit komt neer op het stapelen van ‘bewijs’ uit onderzoeken met verschillende zwakheden, in de hoop dat hieruit sterk onderbouwde conclusies kunnen worden getrokken.
Zelfs als de steekproef een perfecte afspiegeling zou zijn van de populatie (en dat is het niet door de selectiebias) zegt het resultaat alleen iets over de huidige situatie van de onderzochte groep. Er kunnen geen conclusies uit worden getrokken voor de toekomst
Choice supportive bias
Als mensen gevraagd wordt naar de kenmerken van keuze-opties van in het verleden gemaakte beslissingen, worden meer positieve kenmerken genoemd van de gekozen optie dan van de verworpen optie [22 , 26 , 28]. De Amerikaanse psychologen Mather en Johnson beschreven het effect als volgt:
“Veel onderzoeken […] hebben aangetoond dat mensen, nadat ze een keuze gemaakt hebben, hun opvattingen veranderen om meer in overeenstemming te zijn met de beslissing die ze gemaakt hebben. Ook lijken mensen zich hun keuzes te herinneren op een manier die spijt minimaliseert. […] Deze keuze-ondersteunende asymmetrieën weerspiegelen vermoedelijk de constructief-reconstructieve processen die een belangrijk aspect zijn van herinneren. In het bijzonder kunnen mensen de impliciete veronderstelling hebben dat, omdat een van de opties boven de andere gekozen werd, deze waarschijnlijk meer positieve en minder negatieve kenmerken had dan de andere optie.” [21]10Origineel: “Many studies […] have demonstrated that after making a choice, people shift their attitudes to be more consistent with the decision they made. People also seem to remember their choices in a regret-minimizing fashion. […] These choice-supportive asymmetries presumably reflect the constructive-reconstructive processes that are a key aspect of remembering. In particular, people may have the implicit theory that because one of the options was selected over the other, it probably had more positive features and fewer negative features than the other option.” [21]
Zie 101101: Door het grote aantal vertekeningen is tevredenheidsonderzoek wetenschappelijk zeer zwak, zo niet onmogelijk.Het is een misvatting dat intersekse kinderen (of volwassenen) kunnen aangeven of hun vroege ‘normaliserende’ behandeling goed was. voor een uitgebreider beschrijving van de Choice Supportive Bias.
Standpunt NNID
Veel medisch-wetenschappelijk onderzoek is van onvoldoende kwaliteit
Door problemen met de selectie, zwak ontwerp van het onderzoek, en statistische beperkingen is veel medisch-wetenschappelijk van onvoldoende kwaliteit.
Wat mensen zeggen
Oorzaak lost to follow-up
De gewoonte om gegevens over de medische voorgeschiedenis achter te houden, samen met de mogelijkheid van negatieve medische ervaringen, draagt er waarschijnlijk toe bij dat patiënten met DSD’s vaak ‘lost to follow-up’ zijn.[a]
— Peter A. Lee et. al 11Peter A. Lee; Anna Nordenström; Christopher P. Houk; S. Faisal Ahmed; Richard Auchus; Arlene Baratz; Katharine Baratz Dalke; Lih-Mei Liao; Karen Lin-Su; Leendert H.J. Looijenga 3rd; Tom Mazur; Heino F.L. Meyer-Bahlburg; Pierre Mouriquand; Charmian A. Quigley; David E. Sandberg; Eric Vilain; Selma Witchel; and the Global DSD Update Consortium. – 2016
Spijt minimaliseren
Veel onderzoeken […] hebben aangetoond dat mensen, nadat ze een keuze gemaakt hebben, hun opvattingen veranderen om meer in overeenstemming te zijn met de beslissing die ze gemaakt hebben. Ook lijken mensen zich hun keuzes te herinneren op een manier die spijt minimaliseert. […] Deze keuze-ondersteunende asymmetrieën weerspiegelen vermoedelijk de constructief-reconstructieve processen die een belangrijk aspect zijn van herinneren. In het bijzonder kunnen mensen de impliciete veronderstelling hebben dat, omdat een van de opties boven de andere gekozen werd, deze waarschijnlijk meer positieve en minder negatieve kenmerken had dan de andere optie.12Origineel: “Many studies […] have demonstrated that after making a choice, people shift their attitudes to be more consistent with the decision they made. People also seem to remember their choices in a regret-minimizing fashion. […] These choice-supportive asymmetries presumably reflect the constructive-reconstructive processes that are a key aspect of remembering. In particular, people may have the implicit theory that because one of the options was selected over the other, it probably had more positive features and fewer negative features than the other option.[a]
— Mara Mather, gerontoloog en psycholoog – 2006