MISVATTINGEN#89Patiëntenpopulaties zijn onvolledig

  1. Niet-representatieve onderzoekspopulaties: Veel intersekse personen zijn onzichtbaar voor onderzoekers, waardoor onderzoekspopulaties vaak niet representatief zijn. De uitkomsten zijn alleen geldig voor de onderzochte groep, niet voor alle intersekse personen.
  2. Selectiebias: Het selecteren van onderzoekspopulaties uit beschikbare patiëntenpopulaties leidt tot vertekende onderzoeksresultaten, waardoor die niet generaliseerbaar zijn voor de gehele groep intersekse personen.
  3. Dubbele selectiebias: Artsen neigen ertoe hun meest ‘geschikte’ patiënten aan te melden voor onderzoek, wat leidt tot een dubbele selectiebias.
  4. Machtsrelatie tussen arts en patiënt: De machtsrelatie tussen arts en patiënt beïnvloedt de onderzoeksresultaten en kan bovendien leiden tot objectivering van intersekse personen.
  5. Invloed van lost to lollow-up: Een significant deel van de intersekse personen die eerder behandeld zijn, is niet meer bereikbaar voor onderzoek. Dit leidt tot een verdere vertekening van de resultaten.
  6. MNAR: Als niet bekend is waarom patiënten niet meer bereikbaar zijn, is sprake van ‘missing not at random’ (MNAR). Deze vertekening kan niet worden gecompenseerd.
  7. NNID-publicatie over biassen in onderzoek: De NNID-publicatie ‘Handreiking DSD & Mensenrechten’ gaat dieper in op verschillende soorten vertekeningen in onderzoek naar DSD.


Samengevat met AI en gecontroleerd door een redacteur.

HOOFDSTUK 89

Patiëntenpopulaties zijn geen representatieve onderzoekspopulaties

Als je de vissen in je aquarium telt, weet je nog steeds niet over het aantal vissen in de zee. Al laten vissen in een aquarium zich wel makkelijker tellen.

Het is een algemeen aanvaard wetenschappelijk principe dat het onmogelijk is een representatieve steekproef te nemen van een onzichtbare populatie. Veel intersekse mensen, ook degenen die eerder bij artsen onder behandeling zijn geweest, zijn onzichtbaar voor onderzoekers. Bovendien is vaak niet bekend waarom dat deel niet bereikbaar is voor onderzoek – dit deel wordt missing not at random (MNAR) genoemd; als het percentage MNAR boven een bepaalde waarde komt – en dat is bij onderzoek naar intersekse regelmatig het geval – dan is geen sprake van een aselecte representatieve steekproef[5]. De uitkomsten van het onderzoek gelden dan wel voor de onderzochte groep, maar niet voor alle huidige en toekomstige intersekse personen.1Uit onderzoek naar lost to follow-up bij randomised controlled trials met een mediaan percentage lost to follow-up van 6% (interkwartielafstand 2-14%), blijkt dat bij maximaal een derde van de onderzoeken positieve bevindingen hun significantie verliezen wanneer plausibele veronderstellingen worden gemaakt over de uitkomsten van deelnemers die aan de follow-up worden onttrokken[1]. De lost to follow-up bij lange termijn follow-up-onderzoek naar DSD’s is dikwijls aanmerkelijk hoger waardoor de resultaten weinig zeggen over de gehele populatie. Zie ook voetnoten 386 en 387. 2Voetnoot 386 – hoofdstuk 9999: Een goede begeleiding is geen legitimering voor nnmb’s – het blijven ernstige schendingen van de mensenrechten.Het is een misvatting dat intersekse kinderen jarenlang worden begeleid.: Op 25 januari 2019 zei de Franse kinderarts Claire Bouvattier voor het Franse Cour de cassation dat artsen voor het Europese onder-zoek dsd-LIFE 5000 patiënten hoopten te rekruteren, maar dat door lost to follow-up slechts 1000 patiënten werden gevonden:
“On a quand même fait un gros effort, il y a une étude européenne [00:10:30] qui a été lancée par les Allemands en 2007-2013. On espérait recruter 5000 patients, on a pu en retrouver 1000, donc on a aussi com-pris que [00:10:40] nous les pédiatres on l’a toujours un peu su on perd nos patients. On les quitte entre 15 et 18 ans et on leur dit : « Il faut aller voir le gynécologue pour les filles, l’urologue [00:10:50] pour les gar-çons » et ils disparaissent. Les uns disent ils vont très bien donc on ne les voit plus, les autres disent ils vont très mal donc on ne les voit plus, on ne sait pas très bien.” [133]

Vertaling: “Wij hebben een grote inspanning gedaan, er is een Europese studie [00:10:30] die in 2007-2013 door de Duitsers is opgezet. Wij hoopten 5000 patiënten te rekruteren, wij hebben er 1000 kunnen vinden, dus wij hebben ook begrepen dat [00:10:40] wij kinderartsen altijd geweten hebben dat wij onze patiënten verliezen. Wij laten hen tussen de 15 en 18 jaar oud en wij zeggen hen: “Jullie moeten naar de gynaecoloog voor meisjes, naar de uroloog [00:10:50] voor jongens” en zij verdwijnen. Sommigen zeggen dat het heel goed met hen gaat, zodat wij ze niet meer zien, anderen zeggen dat het heel slecht met hen gaat, zodat wij ze niet meer zien, wij weten het niet zo goed.”
(De tijden tussen haakjes verwijzen naar de video-opname die het Cour de cassation heeft gepubliceerd: https://vimeo.com/314728446  )
Er ontbreekt nog een getal: 3100 – dat is het aantal mensen waarvan de adresgegevens beschikbaar waren en die werden uitgenodigd voor het onderzoek; uiteindelijk werk-te ongeveer een derde (1040 personen) daarvan mee aan het dsd-LIFE-onderzoek[2].
3Voetnoot 387 – hoofdstuk 9999: Een goede begeleiding is geen legitimering voor nnmb’s – het blijven ernstige schendingen van de mensenrechten.Het is een misvatting dat intersekse kinderen jarenlang worden begeleid.: Kristman et al. hebben aangetoond dat bij ‘Missing Not At Ran-dom’ (MNAR) –daarvan is sprake als patiënten met een reden wegblijven, en dit is vrijwel altijd het geval bij follow-up onder-zoek– en een lost to follow-up percentage van 20% al een aan-merkelijke bias optreedt in de Odds Ratio (OR)[5]. In appendix E van de NNID-uitgave Handreiking DSD & Mensenrechten wordt uit-gebreid ingegaan op de gevolgen van lost to follow-up[3]. Hieruit volgt dat onderzoekspopulaties niet zonder problemen uit patiëntenpopulaties kunnen worden geselecteerd.

Selectiebias

De kwaliteit van medisch-wetenschappelijk onderzoek naar DSD heeft te lijden onder een groot aantal biassen waarvan de invloed op de onderzoeksresultaten zelden in zijn geheel benoemd wordt (zie ook 101101: Door het grote aantal vertekeningen is tevredenheidsonderzoek wetenschappelijk zeer zwak, zo niet onmogelijk.Het is een misvatting dat intersekse kinderen (of volwassenen) kunnen aangeven of hun vroege ‘normaliserende’ behandeling goed was.). Veel van die biassen worden direct of indirect veroorzaakt door het rekruteren van onderzoekspopulaties uit de voorhanden zijnde patiëntenpopulatie.4Bijvoorbeeld patiëntenorganisaties en ziekenhuispopulaties. 5Ook bekend onder de weinig vleiende benamingen convenience sampling, accidental sampling, grab of opportunity sampling. Het gevolg is dat de onderzoeksresultaten alleen iets zeggen over de onderzochte groep en niet generaliseerbaar zijn voor de gehele groep.[3]

Twee aspecten die hierbij speciaal aandacht verdienen zijn de invloed van lost to follow-up patiënten waarvan niet bekend is waarom zij niet meer aan onderzoek willen meedoen 6In de statistiek bekend als Missing not at random (MNAR) of ‘niet te negeren non-respons’. Zie ook de voetnoten 386 en 387 in de vorige paragraaf. en de gevolgen van het geringe aantal patiënten in het algemeen, waardoor het aantrekkelijk lijkt een populatie samen te stellen die grote verschillen kent in leeftijd, aangeboden behandeling, kwaliteit van de gezondheidzorg, en geografische herkomst, om zo schijnbaar sterkere onderzoeksresultaten te krijgen.7Dit staat bekend als het twijgjeseffect of de ‘faggot fallacy’ (waarbij faggot staat voor een bundel twijgjes): de aanname dat het samenvoegen van onderzoeksresultaten die elk afzonderlijk verdacht of zwak zijn, samen sterk bewijs leveren.[7]

Een selectie maken uit de bestaande patiëntenpopulatie is op zich al een selectiebias.8Niet alleen omdat de niet-patiënten en de lost to follow-up-patienten worden uitgesloten, maar ook omdat bij kleine aantallen de anonimiteit van de deelnemers meestal niet kan worden gewaarborgd. De kans is groot dat gezondheidswerkers en onderzoekers individuele patiënten herkennen in de onderzoeksdata en de onderzoeksuitkomsten. Patiënten die zich hiervan bewust zijn, zullen eerder ‘wenselijke’ antwoorden geven, waardoor de onderzoeksuitkomsten vertekend zijn. Maar als artsen gevraagd wordt mensen aan te melden bij een speciale database voor die ziekte treedt een dubbele selectiebias op als artsen niet al hun patiënten aanmelden.9Dit wordt de drogreden van waarnemingsselectie genoemd (‘counting the hits and forgetting the misses’) maar is ook een vorm van de drogreden van onvolledig bewijs (‘cherry picking’). Dat komt doordat veel artsen de neiging hebben hun meest geschikte 10Meest geschikt als in: heldere diagnose, veel symptomen die bij de diagnose horen, en misschien ook wel een paar opvallende kenmerken die de casus extra interessant maken. patiënten aan te melden. Het resultaat is dat onderzoek op basis van de onderzoeksdatabase een heftiger/exotischer beeld van ziekte geeft dan de werkelijkheid toelaat.11Om dit te visualiseren: een arts heeft voor een bepaalde diagnose patiënten die op een 10-punten ‘geschikt voor deze database’-schaal tussen de 4 en 10 scoren. Als de arts alleen de gegevens van patiënten met een score van 8 tot en met 10 in de onderzoeksdatabase zet, zal de gemiddelde score tussen de 8 en de 10 liggen (laten we zeggen 9). Maar als de gegevens van alle patiënten in de database waren geplaatst, had het gemiddelde tussen 4 en 10 gelegen (laten we zeggen 7). Dat effect wordt nog versterkt als onbekend is waarom de arts geen patiënten behandelt met een geschiktheidsscore van 1 toten met 3: het resultaat is een dubbele selectiebias én een bias door MNAR (Missing not at random (MNAR) of ‘niet te negeren non-respons’.  Zie ook de voetnoten 386 en 387 in de vorige paragraaf. ).

De NNID-publicatie Handreiking DSD & Mensenrechten gaat dieper in op biassen (vertekeningen) bij onderzoek naar DSD.12Beschikbaar via LINK. 

Machtsrelatie

De keuze voor de actuele patiëntenpopulatie als (belangrijkste) bron voor het samenstellen van een onderzoekspopulatie heeft bovendien tot gevolg dat de machtsrelatie van de arts ten opzichte van de patiënt een rol gaat spelen.13Dat die machtssituatie bestaat blijkt, bijvoorbeeld, uit onderzoek in Australië waarin mensen die in de maatschappij het woord intersekse gebruiken en tegen de term DSD zijn, zeggen dat zij in hun communicatie met artsen toch de term DSD gebruiken[4]. Daarnaast, en dit is een ethisch probleem, is de kans aanwezig dat intersekse mensen door onderzoek worden geobjectiveerd[6] – hoewel betrokkenheid van behande­laars bij onderzoek niet altijd te voorkomen is, moet worden meegewogen dat dit de relatie tussen behandelaar en patiënt niet ten goede komt en daarmee ook schadelijk kan zijn voor de gezondheid van de patiënt.

Standpunt NNID

Patiëntenpopulaties leiden tot een grote selectiebias waardoor onderzoeksresultaten niet generaliseerbaar zijn

Onderzoek dat gebaseerd is op alleen de patiëntenpopulatie van een of meer ziekenhuizen geeft een sterk vertekend beeld van de werkelijkheid. De uitkomsten zeggen hooguit iets over de onderzochte groep personen, maar zijn niet generaliseerbaar voor alle intersekse personen.

Wat mensen zeggen


  • KOP
    Citaal.[a]
    — Eva, 24 jaar – 2023
Letterlijk citaat mensenrechtenparadigma
Letterlijk citaat Medisch paradigma
Uitspraak/aanbeveling/citaat mensenrechten institutie of – authoriteit
Citaat van boek  of (peer-reviewed) artikel, niet aan één auteur toe te wijzen,
ongeacht het paradigma
  1. Akl EA, Briel M, You JJ, Sun X, Johnston BC, Busse JW, et al. Potential impact on estimated treatment effects of information lost to follow-up in randomised controlled trials (LOST-IT): systematic review. BMJ : British Medical Journal. 2012;344:e2809. https://doi.org/10.1136/bmj.e2809
  2. Duranteau L, Rapp M, van de Grift TC, Hirschberg AL, Nordenskjöld A. Participant- and Clinician-Reported Long-Term Outcomes After Surgery in Individuals with Complete Androgen Insensitivity Syndrome. Journal of Pediatric and Adolescent Gynecology. 2021;34(2):168-175. https://doi.org/10.1016/j.jpag.2020.11.012
  3. van der Have MJ. Handreiking DSD & Mensenrechten: Over grondrechten in kwaliteitsstandaarden voor Differences of Sex Development. Nijmegen, Nederland: Stichting NNID, 2018. Rapport Nr. 2018-01. ISBN 978-94-93106-00-0.
  4. Jones T, Hart B, Carpenter M, Ansara G, Leonard W, Lucke J. Intersex: Stories and Statistics from Australia: Open Book Publishers; 2016.
  5. Kristman V, Manno M, Côté P. Loss to follow-up in cohort studies: how much is too much? European journal of epidemiology. 2004;19(8):751-760. https://doi.org/10.1023/B:EJEP.0000036568.02655.f8
  6. Pikramenou N. Intersex Rights: Living Between Sexes. Cham, Switzerland: Springer Nature; 2019. ISBN: 978-3-030-27553-2 https://doi.org/10.1007/978-3-030-27554-9
  7. Skrabanek P, McCormick J. Follies & fallacies in medicine. 3rd ed. Whithorn, Scotland, UK: Tarragon Press; 1998.