Qualität der Berichte und Methoden randomisierter kontrollierter Studien über 30 Jahre

Randomisierte kontrollierte Studien (RCT) sind der Goldstandard zum Nachweis von Wirksamkeit medizinischer Interventionen. Leider ist deren Planung, Durchführung und die Berichtsqualität oft unzureichend und Ursache gravierender Fehleinschätzungen. Nur mit Kenntnis der genauen Methodik lässt sich die interne und externe Validität einer Studie bewerten. Enthält die Methodik systematische Fehler, dann kommt es zu Verzerrungen der Ergebnisse (engl.: Bias) und falschen Schlussfolgerungen. Systematische Fehler in RCT können beispielsweise dazu führen, dass ein Ergebnis hoch signifikant ist (kleiner p-Wert) und mit einer hohen Wahrscheinlichkeit auch immer wieder reproduziert werden kann, aber trotzdem falsch ist. Ein Bias kann sogar so stark sein, dass er einen Nutzen vortäuscht, wo in Wahrheit ein Schaden vorliegt (1).

Die wichtigsten Arten von Bias bei kontrollierten Studien sind (vgl. 2):

1. Selektionsbias (Stichprobenverzerrung): bei der Auswahl einer Stichprobe (Studienpatienten) oder der Zuteilung in eine Interventions- bzw. Kontrollgruppe wird das Zufallsprinzip verletzt. Diesem Bias, das auf verschiedenen Mechanismen beruht, kann durch eine zufällige (random) und verdeckte Gruppenzuteilung (allocation concealment) entgegengewirkt werden.
2. Performance bias: die Studiengruppen werden systematisch ungleich behandelt, z.B. weil eine Gruppe im Rahmen der Studie eine zusätzliche Behandlung oder Diagnostik oder Aufmerksamkeit erhält. Dieses Bias kann durch Verblindung von Patienten und Studienpersonal reduziert werden.
3. Detektionsbias: die Erfassung (Messung) der Ergebnisse ist durch verschiedene Faktoren beeinflussbar, wie z.B. die Erwartungen der Patienten oder des Studienpersonals (Observer) oder die verwendeten Messmethoden (z.B. Interviewstil). Diesem Bias kann durch Verblindung der Nachuntersucher (Outcome Assessors) entgegengewirkt werden (vgl. 3.)
4. Attrition bias: Er entsteht durch das vorzeitige Ausscheiden von Teilnehmern aus einer Studie (z.B. Studienabbruch oder „Follow-up-Verlust“). Gegenmaßnahme ist die „Intention-to-treat“-Auswertung der Studienergebnisse. Dabei werden auch die Studienabbrecher mitberücksichtigt.
5. Reporting bias (Publikationsbias): Dies ist eine Verzerrung durch bevorzugtes Publizieren von positiven und Nicht-Publizieren von negativen Ergebnissen. Dieser Verzerrung kann entgegengewirkt werden, indem alle Studien registriert, alle Ergebnisse publiziert und alle Daten offengelegt werden (vgl. 4, 5). Zum Publikationsbias trägt auch das mehrfache Publizieren von gleichen Ergebnissen in verschiedenen Zeitschriften bei.

Eine Übersicht über die verschiedenen Biasarten findet sich beim deutschen Netzwerk Evidenz-basierte Medizin (1).

Es gibt verschiedene Instrumente, um den „Risk of Bias“ (RoB) in kontrollierten Studien einzuschätzen. Die Cochrane Collaboration verwendet das sog. “Cochrane risk of bias tool” (6). Bei diesem wird jede Studie an Hand von sieben Domänen bewertet: 1. Generierung der Randomisierungssequenz (engl.: sequence generation); 2. Verdeckte Gruppenzuteilung (engl.: allocation concealment); 3. Verblindung von Teilnehmern und Studienpersonal; 4. Verblindung der Endpunkterhebung (engl.: blinding of outcome assessors); 5. Datenvollständigkeit; 6. selektive Berichterstattung; 7. andere Bias-Ursachen.

Das Risiko in jeder Domäne wird in drei Stufen bewertet: “geringes Biasrisiko”, “hohes Biasrisiko” oder “unklares Biasrisiko”. Bei jeder systematischen Review der Cochrane Collaboration führen die Autoren eine solche RoB-Bewertung aller eingeschlossenen Studien durch. Diese Bewertung wird mit den Ergebnissen publiziert.

Eine Arbeitsgruppe aus Frankreich und Nordamerika hat kürzlich die Ergebnisse aller RoB-Bewertungen von 2.001 Cochrane-Reviews aus den Jahren 2011-2014 analysiert (7). Diese Reviews beinhalteten > 20.000 RCT aus drei Jahrzehnten. Die Bewertung “unklares Biasrisiko” wurde von den Autoren als Surrogat für eine schlechte Berichtsqualität verwendet und die Bewertung “hohes Biasrisiko” für eine schlechte Methodik.

Ergebnisse dieser RCT-Bewertungen durch die jeweiligen Cochrane-Gruppen sind in Tab. 1 wiedergegeben. Es zeigte sich, dass bei mehr als der Hälfte der publizierten RCT Bedenken hinsichtlich der Berichtsqualität bestanden (unklares Biasrisiko in den Domänen Randomisierungssequenz und verdeckte Gruppenzuteilungen). Zudem wurde bei 33% bzw. 22% der RCT ein hohes Biasrisiko für eine fehlerhafte Verblindung der Patienten und des Studienpersonals bzw. bei der Endpunkterhebung erkannt, was als bedeutsamer methodischer Mangel angesehen werden muss.

Die Autoren untersuchten auch die Qualität der RCT im Zeitverlauf. Hierzu wurden die Bewertungen von RCT aus den Jahren 1986-1990 mit denen aus den Jahren 2011-2014 verglichen. Hierbei zeigte sich, dass die Berichtsqualität über die Jahre besser geworden ist. Die Bewertung „unklares Biasrisiko“ sank in den Domänen „Generierung der Randomisierungssequenz“ und „verdeckte Gruppenzuteilung“ über 30 Jahre von 69,1% auf 31,2% bzw. von 70,1% auf 44,6%. Dagegen wurde in der Domäne „Verblindung von Teilnehmern und Studienpersonal“ keine Verbesserung gefunden. Bei diesem Surrogat für die Methodenqualität kam es sogar zu einem Anstieg der Bewertung „hohes Biasrisiko“ von 31% auf 36,1%.

Fazit: Eine schlechte Berichtsqualität (> 50%) und methodische Mängel (33%) sind bei randomisierten kontrollierten Studien (RCT) häufig. Während sich die Berichtsqualität der RCT in den letzten 30 Jahren verbessert hat, hat sich die Methodenqualität eher noch verschlechtert. Dies liegt vor allem an einem nachlässigen Umgang mit der Verblindung der Patienten und des Studienpersonals.

Literatur

1. http://www.ebm-netzwerk.de/was-ist-ebm/images/dnebm-glossar-2011.pdf
2. Buchberger, B., et al.:Bundesgesundheitsblatt Gesundheitsforschung Gesundheitsschutz 2014, 57, 1432.
3. AMB 2017, 51,08DB01.
4. AMB 2016, 50,96DB01 . AMB 2015, 49, 64DB01 . AMB2014, 48, 30 . AMB 2014, 48, 32DB01 . AMB 2012, 46, 59 . AMB 2010, 44, 39 . AMB 2003, 37, 55.
5. Schott, G., et al.: Z.Evid. Fortbild. Qual.Gesundh.wesen (ZEFQ) 2010, 104, 314.
6. Higgins, J.P., et al.:BMJ 2011, 343, d5928.
7. Dechartres,A., et al.: BMJ 2017, 357, j2490.