MISVATTINGEN#93Vertekening in onderzoek

  1. Onderzoekspopulatie: Onderzoek naar intersekse of DSD betreft vaak kleine populaties. Bij DSD speelt de zeldzaamheid van specifieke diagnoses een rol.
  2. Ontbrekende hypothese: Veel medisch-wetenschappelijk onderzoek naar intersekse mist een duidelijke, testbare hypothese, wat leidt tot conclusies die niet noodzakelijkerwijs uit de verzamelde data volgen.
  3. Lost to follow-up: Een hoog percentage intersekse mensen is ‘lost to follow-up’, wat betekent dat zij niet meer te benaderen zijn voor onderzoek, wat de onderzoeksresultaten kan vertekenen.
  4. Selectie-bias: Verschillende vormen van selectiebias, zoals observationbias , self-selection bias, en healthy user bias, kunnen de onderzoeksresultaten kleuren.
  5. Vertekeningen door tijd en ruimte: Onderzoek dat mensen met verschillende diagnoses uit diverse landen en periodes omvat, kan leiden tot onbetrouwbare conclusies door het stapelen van zwak bewijs.
  6. Choice supportive bias: De neiging van mensen om beslissingen uit het verleden te rechtvaardigen kan leiden tot vertekende herinneringen en evaluaties, wat de betrouwbaarheid van onderzoeksresultaten aantast.
  7. Kwaliteit van onderzoek: De genoemde tekortkomingen in medisch-wetenschappelijk onderzoek naar DSD toont aan dat veel van dit onderzoek van onvoldoende kwaliteit is om betrouwbare conclusies te trekken.


Samengevat met AI en gecontroleerd door een redacteur.

HOOFDSTUK 93

Veel medisch-wetenschappelijk onderzoek is van onvoldoende kwaliteit

Vertekeningen in onderzoeksresultaten zijn niet altijd te voorkomen, maar in veel medisch wetenschappelijk onderzoek zit zoveel vertekening dat de resultaten nietszeggend zijn. De belangrijkste oorzaken worden hieronder besproken.

Onderzoek naar intersekse of DSD gaat bijna altijd uit van een kleine onderzoekspopulatie. Dat is een moeilijk of zelfs niet op te lossen probleem, simpelweg omdat a) slechts 1,1 procent van de bevolking geboren is met een lichaam dat niet voldoet aan de sociale constructies van man en vrouw[12], en b) van die 1,1 procent minder dan de helft (nog) contact heeft met gezondheidswerkers[19]. Doordat DSD een paraplubegrip is voor een veelheid aan diagnoses, zijn de diverse onderzoekspopulaties bij DSD nog geringer. De geringe onderzoekspopulaties én de pogingen om toch tot grotere onderzoekspopulaties te komen, leiden tot een aantal zwakten in weten­schappelijk onderzoek naar intersekse en DSD.

Hieronder volgt een korte opsomming van vertekeningen die bij veel medisch-wetenschappelijk onderzoek naar DSD voorkomen en die uitgebreid worden besproken in de NNID-uitgave Handreiking DSD & Mensenrechten[14].

Ontbrekende hypothese

In medisch-wetenschappelijk onderzoek onder intersekse mensen waarin het sociaalwetenschappelijk domein wordt betreden, ontbreekt regelmatig een te testen hypothese – vanuit aannames en constateringen wordt naar een resultaat toe gewerkt. Er wordt dan breed data verzameld en daar wordt een conclusie bij gezocht. Vaak volgt de conclusie niet noodzakelijkerwijs uit de data. Zo wordt in publicaties geconcludeerd dat meer zorg nodig is [25 , 29], terwijl dat niet de onderzoeksvraag was en zonder dat het onderzoek bevestigt dat meer zorg een oplossing voor het geconstateerde probleem is. In een andere publicatie wordt in de samenvatting en de inleiding gesteld dat ‘een beter begrip van de opvoedingservaringen van vrouwelijke verzorgers […] de ontwikkeling van geïndividualiseerde inter­venties [zal] vergemakkelijken’ zonder dat dit uit de conclusie blijkt en zonder dat dit in de tekst met argumenten onderbouwd wordt[16].

Kleine onderzoekspopulatie

Een onderzoekspopulatie van dertig personen of minder is in onderzoek naar intersekse of DSD nog steeds niet ongebruikelijk. Vaak wordt aangenomen dat dit komt door de zeldzaamheid van specifieke diagnoses. Hoewel alle Nederlandse intersekse mensen bij elkaar een groep vormen die bijna zo groot is als de bevolking van Breda, is vooral bij zeldzame DSD-diagnose sprake van een veel kleinere groep. Toch is dat geen reden om met heel kleine onderzoeks­populaties te werken. MRKH, bijvoorbeeld, komt bij ongeveer 1 op de 5000 vrouwen voor. Dat betekent dat in Nederland ongeveer 1770 vrouwen deze diagnose hebben. Het androgeenongevoeligheidsyndroom (AOS) is nog zeldzamer dan MRKH – naar schatting wonen in Nederland tussen de 89 en 442 mensen met AOS[7]. Deze cijfers laten zien dat heel kleine onderzoekspopulaties ook bij deze DSD’s niet per se noodzakelijk zijn.

Dat deze mensen niet beschikbaar zijn, is voor een deel te verklaren uit lost to follow-up.

Lost to follow-up

Een flink deel van de intersekse mensen die ooit door een arts werden behandeld, zijn niet meer te benaderen voor onderzoek. Dit wordt lost to follow-up genoemd. 1Lost to follow-up: patiënten zijn in het geheel niet meer te bereiken, of zij weigeren mee te doen aan onderzoek. 2De lost to follow-up bias is vaak moeilijk te onderscheiden van de non-respondent bias. Bij non-respondent bias is de populatie niet representatief doordat mensen die niet reageren verschillen van mensen die wel reageren om mee te doen aan een onderzoek[3]. Percentages lost to follow-up tussen 25 en 50 procent zijn bij onderzoek naar DSD-diagnoses niet uitzonderlijk [1 , 2 , 9 , 10 , 13]. Bij het omvangrijke Europese dsd-LIFE-onderzoek3Het dsd-Life-onderzoek vond plaats in 16 Europese landen, waaronder Nederland en werd uitgevoerd tussen februari 2014 en september 2015. [11] waren 3100 mensen uitgenodigd waarvan slechts een derde (1040 personen) aan het onderzoek heeft meegewerkt[11].4Onderzoek in Australië naar de behoeften aan informatie onder jongeren met DSD, laat vergelijkbare cijfers zien: van de 314 met succes getraceerde patiënten vulden er slechts 91 (28,9%) de vragenlijst in. Degenen die verloren zijn gegaan voor follow-up kunnen meer of minder voldoen aan de verwachte uitkomst van het onderzoek en zo het werkelijke verband tussen interventie en uitkomst vervormen. In een update op de Chicago consensus statement schrijven de auteurs:

De gewoonte om gegevens over de medische voorgeschiedenis achter te houden, samen met de mogelijkheid van negatieve medische ervaringen, draagt er waarschijnlijk toe bij dat patiënten met DSD’s vaak ‘lost to follow-up’ zijn. [18]

Hiermee geven zij impliciet aan dat de groep die lost to follow-up is, sterk verschilt van de groep die nog wel in zicht is.

Kristman et al. hebben aangetoond dat bij ‘Missing Not At Random’ (MNAR) –daarvan is sprake als patiënten met een onbekende reden wegblijven, en dit is vrijwel altijd het geval bij follow-up onderzoek– en een lost to follow-up percentage van 20% al een aanmerkelijke bias optreedt in de Odds Ratio (OR) [17]. Dergelijke percentages, of hoger, zijn niet ongebruikelijk bij medisch-wetenschappelijk onderzoek naar DSD. De invloed hiervan op de betrouwbaarheid van de onderzoeksresultaten mogen niet worden genegeerd omdat uit onderzoek is gebleken dat bij MNAR de lost to follow-up groep niet overeenkomt met de groep die wel beschikbaar is voor onderzoek [6 , 23].

Als het mogelijk zou zijn de ontbrekende data in een model te beschrijven, zou de ontbrekende data vervangen kunnen worden door objectieve schattingen uit dat model. Maar in de praktijk is het onmogelijk dat model te kennen omdat alleen inzicht bestaat in de data die wel beschikbaar is[4 , 17 , 20 , 24].5De Zweedse neuro-science-onderzoeker Kristoffer Magnusson heeft in zijn proefschrift aangetoond dat zogenaamde linear mixed-effects models (LLM’s) niet bruikbaar zijn om vertekening door MNAR te voorkomen [20]. Magnusson heeft een verkorte versie ook als blog gepubliceerd: LINK

Selectie-bias

Er zijn verschillende omstandigheden waaronder onderzoeksresultaten niet representatief zijn voor de gehele populatie. Zojuist is lost to follow-up al genoemd, maar ook observation selection bias 6Observation selection bias: als alle gevangen vissen langer zijn dan 15 cm, kun je niet concluderen dat in een meer alle vissen langer zijn dan 15 cm als je met je net geen vissen kunt vangen die kleiner zijn dan 15 cm.[8], self-selection bias 7Self selection bias: Zelfselectie betekent dat het (volledig) aan mensen wordt overgelaten om zichzelf voor het onderzoek te selecteren [5 , 15]. Met een oproep op het forum van een patiëntenorganisatie, zullen leden van die organisatie oververtegenwoordigd zijn in het onderzoek en bovendien is niet te bepalen wat de beweegredenen zijn van mensen die niet hebben gereageerd., solicitation sampling bias8Solicitation sampling bias: mensen die geen gebruik maken van Facebook blijven onzichtbaar in de onderzoeksresultaten als een oproep tot deelname alleen op Facebook heeft gestaan. [30] en healthy user bias9Healthy user bias: vertekening als gevolg van het gedrag van de patiënten of door de onderliggende patiëntenkenmerken waardoor via beschrijvend onderzoeken drastisch verbeterde gezondheidsresultaten worden gevonden die later in twijfel worden getrokken als gerandomiseerd gecontroleerd onderzoek tegenstrijdige resultaten aangeeft.[27] kunnen tot een vertekening van de onderzoeksresultaten leiden. Hoewel in de meeste onderzoeken naar intersekse of DSD deze selectiebiassen wel worden genoemd, wordt vaak zonder onderbouwing aangenomen dat de vertekening klein is.

Vertekeningen door tijd en ruimte

Om toch tot een grote(re) onderzoekspopulatie te komen, wordt soms onderzoek gedaan naar mensen met verschillende diagnoses, die in verschillende landen met een verschillende cultuur en verschillende gezondheidszorg, in verschillende periodes in verschillende centra zijn behandeld. Dit komt neer op het stapelen van ‘bewijs’ uit onderzoeken met verschillende zwakheden, in de hoop dat hieruit sterk onderbouwde conclusies kunnen worden getrokken.

Zelfs als de steekproef een perfecte afspiegeling zou zijn van de populatie (en dat is het niet door de selectiebias) zegt het resultaat alleen iets over de huidige situatie van de onderzochte groep. Er kunnen geen conclusies uit worden getrokken voor de toekomst

Choice supportive bias

Als mensen gevraagd wordt naar de kenmerken van keuze-opties van in het verleden gemaakte beslissingen, worden meer positieve kenmerken genoemd van de gekozen optie dan van de verworpen optie [22 , 26 , 28]. De Amerikaanse psychologen Mather en Johnson beschreven het effect als volgt:

 “Veel onderzoeken […] hebben aangetoond dat mensen, nadat ze een keuze gemaakt hebben, hun opvattingen veranderen om meer in overeenstemming te zijn met de beslissing die ze gemaakt hebben. Ook lijken mensen zich hun keuzes te herinneren op een manier die spijt minimaliseert. […] Deze keuze-ondersteunende asymmetrieën weer­spiegelen vermoedelijk de constructief-reconstructieve processen die een belangrijk aspect zijn van herinneren. In het bijzonder kunnen mensen de impliciete veronderstelling hebben dat, omdat een van de opties boven de andere gekozen werd, deze waarschijnlijk meer positieve en minder negatieve kenmerken had dan de andere optie.” [21]10Origineel: “Many studies […] have demonstrated that after making a choice, people shift their attitudes to be more consistent with the decision they made. People also seem to remember their choices in a regret-minimizing fashion. […] These choice-supportive asymmetries presumably reflect the constructive-reconstructive processes that are a key aspect of remembering. In particular, people may have the implicit theory that because one of the options was selected over the other, it probably had more positive features and fewer negative features than the other option.” [21]

Zie 101101: Door het grote aantal vertekeningen is tevredenheidsonderzoek wetenschappelijk zeer zwak, zo niet onmogelijk.Het is een misvatting dat intersekse kinderen (of volwassenen) kunnen aangeven of hun vroege ‘normaliserende’ behandeling goed was. voor een uitgebreider beschrijving van de Choice Supportive Bias.

Standpunt NNID

Veel medisch-wetenschappelijk onderzoek is van onvoldoende kwaliteit

Door problemen met de selectie, zwak ontwerp van het onderzoek, en statistische beperkingen is veel medisch-wetenschappelijk van onvoldoende kwaliteit.

Wat mensen zeggen


  • Oorzaak lost to follow-up
    De gewoonte om gegevens over de medische voorgeschiedenis achter te houden, samen met de mogelijkheid van negatieve medische ervaringen, draagt er waarschijnlijk toe bij dat patiënten met DSD’s vaak ‘lost to follow-up’ zijn.[a]
    — Peter A. Lee et. al 11Peter A. Lee; Anna Nordenström; Christopher P. Houk; S. Faisal Ahmed; Richard Auchus; Arlene Baratz; Katharine Baratz Dalke; Lih-Mei Liao; Karen Lin-Su; Leendert H.J. Looijenga 3rd; Tom Mazur; Heino F.L. Meyer-Bahlburg; Pierre Mouriquand; Charmian A. Quigley; David E. Sandberg; Eric Vilain; Selma Witchel; and the Global DSD Update Consortium. – 2016

  • Spijt minimaliseren
    Veel onderzoeken […] hebben aangetoond dat mensen, nadat ze een keuze gemaakt hebben, hun opvattingen veranderen om meer in overeenstemming te zijn met de beslissing die ze gemaakt hebben. Ook lijken mensen zich hun keuzes te herinneren op een manier die spijt minimaliseert. […] Deze keuze-ondersteunende asymmetrieën weer­spiegelen vermoedelijk de constructief-reconstructieve processen die een belangrijk aspect zijn van herinneren. In het bijzonder kunnen mensen de impliciete veronderstelling hebben dat, omdat een van de opties boven de andere gekozen werd, deze waarschijnlijk meer positieve en minder negatieve kenmerken had dan de andere optie.12Origineel: “Many studies […] have demonstrated that after making a choice, people shift their attitudes to be more consistent with the decision they made. People also seem to remember their choices in a regret-minimizing fashion. […] These choice-supportive asymmetries presumably reflect the constructive-reconstructive processes that are a key aspect of remembering. In particular, people may have the implicit theory that because one of the options was selected over the other, it probably had more positive features and fewer negative features than the other option.[a]
    — Mara Mather, gerontoloog en psycholoog – 2006
  1. Lee PA, Nordenström A, Houk CP, Ahmed SF, Auchus R, Baratz A, et al. Global Disorders of Sex Development Update since 2006: Perceptions, Approach and Care. Hormone Research in Paediatrics. 2016. https://doi.org/10.1159/000442975
  2. Mather M. Why memories may become more positive as people age. Memory and emotion: Interdisciplinary perspectives. 2006:135-158. https://doi.org/10.1002/9780470756232.ch7
Letterlijk citaat mensenrechtenparadigma
Letterlijk citaat Medisch paradigma
Uitspraak/aanbeveling/citaat mensenrechten institutie of – authoriteit
Citaat van boek  of (peer-reviewed) artikel, niet aan één auteur toe te wijzen,
ongeacht het paradigma
  1. Alpern AN, Gardner M, Kogan B, Sandberg DE, Quittner AL. Development of Health-Related Quality of Life Instruments for Young Children With Disorders of Sex Development (DSD) and Their Parents. Journal of Pediatric Psychology. 2017;42(5):544-558. https://doi.org/10.1093/jpepsy/jsw022
  2. Arlt W, Willis DS, Wild SH, Krone N, Doherty EJ, Hahner S, et al. Health Status of Adults with Congenital Adrenal Hyperplasia: A Cohort Study of 203 Patients. The Journal of Clinical Endocrinology & Metabolism. 2010;95(11):5110-5121. https://doi.org/10.1210/jc.2010-0917
  3. Asch DA, Jedrziewski MK, Christakis NA. Response rates to mail surveys published in medical journals. Journal of clinical epidemiology. 1997;50(10):1129-1136. https://doi.org/10.1016/S0895-4356(97)00126-1
  4. Basic E, Rendtel U. Assessing the bias due to non-coverage of residential movers in the German Microcensus Panel: an evaluation using data from the Socio-Economic Panel. AStA Advances in Statistical Analysis. 2007;91(3):311-334. https://doi.org/10.1007/s10182-007-0030-5
  5. Bethlehem J. Selection Bias in Web Surveys. International Statistical Review. 2010;78(2):161-188. https://doi.org/10.1111/j.1751-5823.2010.00112.x
  6. Bisgard KM, Folsom AR, Hong C-P, Sellers TA. Mortality and Cancer Rates in Nonrespondents to a Prospective Study of Older Women: 5-Year Follow-up. American journal of epidemiology. 1994;139(10):990-1000. https://doi.org/10.1093/oxfordjournals.aje.a116948
  7. Boehmer AL, Brüggenwirth H, van Assendelft C, Otten BJ, Verleun-Mooijman MC, Niermeijer MF, et al. Genotype versus phenotype in families with androgen insensitivity syndrome. Journal of Clinical Endocrinology & Metabolism. 2001;86(9):4151-4160. https://doi.org/10.1210/jcem.86.9.7825
  8. Bostrom N. Anthropic bias : observation selection effects in science and philosophy. New York, NY, USA: Routledge; 2002. ISBN: 0-415-93858-9
  9. Broekhuijsen-van-Henten D, de-Vroede M. Follow-up van volwassen vrouwen met het syndroom van Turner bij een Utrechts cohort. Ned-Tijdschr-Geneeskd. 2007;151:1630-1634.
  10. Devernay M, Bolca D, Kerdjana L, Aboura A, Gérard B, Tabet A-C, et al. Parental origin of the X-chromosome does not influence growth hormone treatment effect in Turner syndrome. Journal of Clinical Endocrinology & Metabolism. 2012;97(7):E1241-E1248. https://doi.org/10.1210/jc.2011-3488
  11. Duranteau L, Rapp M, van de Grift TC, Hirschberg AL, Nordenskjöld A. Participant- and Clinician-Reported Long-Term Outcomes After Surgery in Individuals with Complete Androgen Insensitivity Syndrome. Journal of Pediatric and Adolescent Gynecology. 2021;34(2):168-175. https://doi.org/10.1016/j.jpag.2020.11.012
  12. Frisch M, Moseholm E, Andersson M, Bernhard Andresen J, Graugaard C. Sex i Danmark, Nøgletal fra Projekt SEXUS 2017-2018 (Sex in Denmark. Key findings from Project SEXUS 2017-2018). Aalborg, Denmark: State Serum Institute (Department of Epidemiological Research), 28 oktober 2019. ISBN 978-87-971732-0-6.
  13. Gleeson H, Davis J, Jones J, O’Shea E, Clayton PE. The challenge of delivering endocrine care and successful transition to adult services in adolescents with congenital adrenal hyperplasia: experience in a single centre over 18 years. Clin Endocrinol (Oxf). 2013;78(1):23-28. https://doi.org/10.1111/cen.12053
  14. van der Have MJ. Handreiking DSD & Mensenrechten: Over grondrechten in kwaliteitsstandaarden voor Differences of Sex Development. Nijmegen, Nederland: Stichting NNID, 2018. Rapport Nr. 2018-01. ISBN 978-94-93106-00-0.
  15. Heckman JJ. Sample Selection Bias as a Specification Error. Econometrica. 1979;47(1):153-161. https://doi.org/10.2307/1912352
  16. Kirk KD, Fedele DA, Wolfe-Christensen C, Phillips TM, Mazur T, Mullins LL, et al. Parenting characteristics of female caregivers of children affected by chronic endocrine conditions: a comparison between disorders of sex development and type 1 diabetes mellitus. Journal of Pediatric Nursing. 2011;26(6):e29-e36. https://doi.org/10.1016/j.pedn.2010.10.005
  17. Kristman V, Manno M, Côté P. Loss to follow-up in cohort studies: how much is too much? European journal of epidemiology. 2004;19(8):751-760. https://doi.org/10.1023/B:EJEP.0000036568.02655.f8
  18. Lee PA, Nordenström A, Houk CP, Ahmed SF, Auchus R, Baratz A, et al. Global Disorders of Sex Development Update since 2006: Perceptions, Approach and Care. Hormone Research in Paediatrics. 2016. https://doi.org/10.1159/000442975
  19. van Lisdonk J. Leven met intersekse/DSD – Een verkennend onderzoek naar de leefsituatie van personen met intersekse/DSD. Den Haag: Sociaal en Cultureel Planbureau, 18 juni 2014 2014. Rapport Nr. 2014-15. ISBN 978 90 377 0705 2.
  20. Magnusson K. Methodological Issues in Psychological Treatment Research: Applications to Gambling Research and Therapist E ffects [Doctoral thesis (PhD)]. Stockholm, Sweden: Karolinska Institutet; 2019. ISBN: 978-91-7831-604-5
  21. Mather M. Why memories may become more positive as people age. Memory and emotion: Interdisciplinary perspectives. 2006:135-158. https://doi.org/10.1002/9780470756232.ch7
  22. Mather M, Shafir E, Johnson MK. Misremembrance of options past: Source monitoring and choice. Psychological science. 2000;11(2):132-138. https://doi.org/10.1111/1467-9280.00228
  23. McLean RR, Hannan MT, Epstein BE, Bouxsein ML, Cupples LA, Murabito J, Kiel DP. Elderly Cohort Study Subjects Unable to Return for Follow-up Have Lower Bone Mass than Those Who Can Return. American journal of epidemiology. 2000;151(7):689-692. https://doi.org/10.1093/oxfordjournals.aje.a010263
  24. Molenberghs G, Beunckens C, Sotto C, Kenward MG. Every missingness not at random model has a missingness at random counterpart with equal fit. Journal of the Royal Statistical Society. 2008;70(2):371-388. https://doi.org/10.1111/j.1467-9868.2007.00640.x
  25. de Neve-Enthoven NGM, Callens N, van Kuyk M, Verhaak CM, van der Ende J, Drop SLS, et al. Sexual Self-Concept in Women with Disorders/Differences of Sex Development. Arch Sex Behav. 2022. https://doi.org/10.1007/s10508-021-02188-1
  26. Shafir E, LeBoeuf RA. Rationality. Annual review of psychology. 2002;53(1):491-517. https://doi.org/10.1146/annurev.psych.53.100901.135213
  27. Shrank WH, Patrick AR, Alan Brookhart M. Healthy User and Related Biases in Observational Studies of Preventive Interventions: A Primer for Physicians. Journal of General Internal Medicine. 2011;26(5):546-550. https://doi.org/10.1007/s11606-010-1609-1
  28. Stoll Benney K, Henkel LA. The role of free choice in memory for past decisions. Memory. 2006;14(8):1001-1011. https://doi.org/10.1080/09658210601046163
  29. Traino KA, Roberts CM, Fisher RS, Delozier AM, Austin PF, Baskin LS, et al. Stigma, Intrusiveness, and Distress in Parents of Children with a Disorder/Difference of Sex Development. Journal of developmental and behavioral pediatrics : JDBP. 2022. https://doi.org/10.1097/DBP.0000000000001077
  30. Warden G. Definitions of Bias in Clinical Research. In: Parfrey PS, Barrett BJ, redactie. Clinical Epidemiology: Practice and Methods. New York, NY: Springer New York; 2015. p. 31-48. ISBN: 978-1-4939-2428-8 https://doi.org/10.1007/978-1-4939-2428-8_3