2.5 Nichtunterlegenheitsversuche
Der Grundgedanke für Nichtunterlegenheitsversuche ist, dass zur angemessenen Bewertung einer Intervention ein Vergleich mit einer Kontrollgruppe notwendig ist, um die Ergebnisse eines Interventionsarms in einen Kontext zu stellen. Für die angestrebte medizinische Indikation ist die Randomisierung zu einem Placebo jedoch unethisch, da eine nachweislich wirksame Therapie zur Verfügung steht. Bei Nichtunterlegenheitsstudien wird eine bestehende wirksame Therapie als „aktive“ Kontrollgruppe ausgewählt. Aus diesem Grund werden Nichtunterlegenheitsstudien auch als „aktiv kontrollierte Studien“ bezeichnet.
Das Ziel einer Nichtunterlegenheitsstudie ist ein anderes als das einer placebokontrollierten Studie. Es ist nicht mehr notwendig zu zeigen, dass die Intervention der Kontrolle überlegen ist, wie in placebokontrollierten Studien, sondern es ist wünschenswert zu zeigen, dass die Intervention „mindestens so gut wie“ oder „nicht schlechter als“ (d.h. nicht schlechter als) die aktive Kontrolle ist. Hoffentlich ist die Intervention in anderer Hinsicht besser als die aktive Kontrolle (z. B. weniger teuer, besseres Sicherheitsprofil, bessere Lebensqualität, anderes Resistenzprofil oder bequemere oder weniger invasive Verabreichung, z. B. weniger Tabletten oder eine kürzere Behandlungsdauer, was zu einer besseren Therapietreue führt). Bei der Behandlung von HIV beispielsweise suchen Forscher nach weniger komplizierten oder weniger toxischen antiretroviralen Regimen, die eine ähnliche Wirksamkeit wie die bestehenden Regime aufweisen.
Nicht-Unterlegenheit kann nicht mit einem nicht-signifikanten Test auf Überlegenheit nachgewiesen werden. Die traditionelle Strategie einer Nichtunterlegenheitsstudie besteht darin, eine Nichtunterlegenheitsmarge (M) auszuwählen, und wenn nachgewiesen werden kann, dass die Behandlungsunterschiede innerhalb der Nichtunterlegenheitsmarge liegen (d. h. <M), kann die Nichtunterlegenheit behauptet werden. Die Nullhypothese und die Alternativhypothese sind H0: βT,aktive Kontrolle ≥M und HA: βT,aktive Kontrolle <M, wobei βT,aktive Kontrolle der Effekt der Interventionstherapie (T) im Vergleich zur aktiven Kontrolle ist. Die Standardanalyse besteht darin, ein Konfidenzintervall für den Unterschied zwischen den Armen zu konstruieren und festzustellen, ob das gesamte Konfidenzintervall innerhalb der Grenzen der Nichtunterlegenheitsmarge liegt. Wenn der primäre Endpunkt beispielsweise binär ist (z. B. Ansprechen vs. kein Ansprechen), kann ein Konfidenzintervall für den Unterschied in den Ansprechraten (Intervention minus aktive Kontrolle) konstruiert werden. Wenn die untere Grenze des Konfidenzintervalls größer als -M ist, können wesentliche Unterschiede mit hinreichender Sicherheit ausgeschlossen werden, und es kann Nichtunterlegenheit behauptet werden. In Abbildung 2 stellen die Konfidenzintervalle A-F mögliche Szenarien für das Ergebnis einer Nichtunterlegenheitsstudie dar. Die Intervalle haben unterschiedliche Zentren und Breiten. Wenn die Studie darauf ausgelegt ist, die Überlegenheit zu bewerten, ergibt sich aus den Szenarien A und D, dass die Nullhypothese nicht zurückgewiesen werden kann (da das Konfidenzintervall den Wert Null nicht ausschließt). Wenn die Prüfung als Nichtunterlegenheitsstudie angelegt ist, kann die Nullhypothese der Unterlegenheit in den Szenarien A, B und C nicht zurückgewiesen werden, aber in den Szenarien D, E und F wird Nichtunterlegenheit behauptet, da die untere Grenze des Intervalls >-M ist. Für Verwirrung sorgt häufig das Szenario E, bei dem aus einer Überlegenheitsstudie auf Unterlegenheit, aus einer Nichtunterlegenheitsstudie aber auf Nichtunterlegenheit geschlossen wird. Dieser Fall verdeutlicht den Unterschied zwischen statistischer Signifikanz (d. h., das Konfidenzintervall schließt 0 aus) und klinischer Relevanz (d. h., die Unterschiede sind kleiner als M). Szenario A ist ein Fall, in dem weder Überlegenheit, Unterlegenheit noch Nichtunterlegenheit behauptet werden kann, weil das Konfidenzintervall zu breit ist. Dies kann auf einen geringen Stichprobenumfang oder eine große Streuung zurückzuführen sein.
Nichtunterlegenheitsdesign. P1 ist die Wirksamkeit der neuen Therapie. P2 ist die Wirksamkeit der Kontrollgruppe. -M ist die Nichtunterlegenheitsmarge.
Klinische Nichtunterlegenheitsstudien sind in der klinischen Forschung inzwischen sehr verbreitet. Nichtunterlegenheitsstudien können „positiv“ sein, was zu einer Behauptung der Nichtunterlegenheit führt, oder „negativ“, was dazu führt, dass eine Behauptung der Nichtunterlegenheit nicht aufgestellt werden kann. Bei der PROFESS-Studie handelte es sich um eine negative Nichtunterlegenheitsstudie mit einem Time-to-Event-Endpunkt. Die Studie kam zu dem Schluss, dass Aspirin plus Dipyridamol mit verlängerter Wirkstofffreisetzung in der Schlaganfallprävention Clopidogrel nicht unterlegen ist. Der primäre Endpunkt war der rezidivierende Schlaganfall, und der Grenzwert für die Nichtunterlegenheit wurde auf einen Unterschied von 7,5 % im relativen Risiko festgelegt. Der 95%-KI für die Hazard Ratio betrug (0,92, 1,11). Da die obere Grenze des KI größer als 1,075 war, konnte keine Unterlegenheit festgestellt werden. Im Gegensatz dazu erwies sich Keppra in einer klinischen Studie, die Behandlungen für neu diagnostizierte Epilepsie untersuchte, als nicht unterlegen gegenüber Carbatrol. Der primäre Endpunkt war die 6-monatige Anfallsfreiheit, und der Grenzwert für die Nichtunterlegenheit wurde auf einen Unterschied von 15 % festgelegt.
Der 95 %-KI für den Risikounterschied betrug (-7,8 %, 8,2 %), so dass auf Nichtunterlegenheit geschlossen wurde. (Brodie et al 2007)
Zwei wichtige Annahmen im Zusammenhang mit dem Design von Nichtunterlegenheitsstudien sind die Konstanz und die Sensitivität des Tests.
In Nichtunterlegenheitsstudien wird eine aktive Kontrolle ausgewählt, weil sie sich in einer historischen Studie als wirksam erwiesen hat (z. B. Placebo überlegen). Die Annahme der Konstanz besagt, dass die Wirkung der aktiven Kontrolle gegenüber Placebo in der historischen Studie dieselbe wäre wie die Wirkung in der aktuellen Studie, wenn eine Placebogruppe eingeschlossen wäre. Dies ist möglicherweise nicht der Fall, wenn es Unterschiede in der Studiendurchführung (z. B. Unterschiede in der Verabreichung der Behandlung, den Endpunkten oder der Population) zwischen der historischen und der aktuellen Studie gibt. Diese Annahme ist in der aktuellen Studie ohne Placebogruppe nicht überprüfbar. Die Entwicklung von Resistenzen stellt eine Gefahr für die Annahme der Konstanz dar.
Um eine Bewertung der Beibehaltung eines Teils der Wirkung der aktiven Kontrolle gegenüber Placebo zu ermöglichen, sollten die Studienteilnehmer, die Endpunkte und andere wichtige Designmerkmale denen ähnlich sein, die in den Studien zum Nachweis der Wirksamkeit der aktiven Kontrolle gegenüber Placebo verwendet wurden. Man kann dann indirekt die Annahme der Konstanz bewerten, indem man die Wirksamkeit der aktiven Kontrolle in der Nichtunterlegenheitsstudie und der historischen Studie vergleicht.
Nichtunterlegenheitsstudien sind dann angebracht, wenn es ausreichende Belege für eine definierte Effektgröße für die aktive Kontrolle gibt, so dass eine Nichtunterlegenheitsmarge gerechtfertigt werden kann. Eine umfassende Synthese der Evidenz, die die Effektgröße der aktiven Kontrolle und die Nichtunterlegenheitsmarge unterstützt, sollte zusammengestellt werden. Aus diesen Gründen unterstützen die Daten in vielen Fällen nicht das Design der Nichtunterlegenheit für einige Indikationen.
„Assay-Sensitivität“ ist eine weitere wichtige Annahme für das Design von Nichtunterlegenheitsstudien. Die Annahme der „Assay-Sensitivität“ besagt, dass die Studie so angelegt ist, dass sie in der Lage ist, Unterschiede zwischen den Therapien zu erkennen, wenn sie tatsächlich bestehen. Wenn das Instrument, mit dem das Ansprechen auf die Behandlung gemessen wird, nicht empfindlich genug ist, um Unterschiede festzustellen, dann werden die Therapien aufgrund der Unempfindlichkeit des Instruments ähnliche Reaktionen zeigen, was möglicherweise zu einer fälschlichen Feststellung der Nichtunterlegenheit führt. Die Auswahl der Endpunkte, die Art ihrer Messung sowie die Durchführung und Integrität der Studie können die Empfindlichkeit des Tests beeinflussen.
Die aktive Kontrolle in einer Nichtunterlegenheitsstudie sollte sorgfältig ausgewählt werden. Die behördliche Zulassung bedeutet nicht unbedingt, dass eine Therapie als aktive Kontrolle verwendet werden kann. Die aktive Kontrolle weist idealerweise eine klinische Wirksamkeit auf, die: (1) von beträchtlicher Größe ist, (2) in dem relevanten Umfeld, in dem die Nichtunterlegenheitsstudie durchgeführt wird, präzise geschätzt wird und (3) vorzugsweise in mehreren Studien quantifiziert wurde. Da die Effektgröße der aktiven Kontrolle im Vergleich zu Placebo als Richtschnur für die Auswahl der Nichtunterlegenheitsgrenze dient, muss die Überlegenheit gegenüber Placebo zuverlässig nachgewiesen und gemessen werden. Es muss sichergestellt sein, dass die aktive Kontrolle dem Placebo überlegen wäre, wenn in der Studie ein Placebo eingesetzt würde.
In letzter Zeit gab es Bedenken hinsichtlich der Entwicklung von Studien zur Nichtunterlegenheit, in denen aktive Kontrollen verwendet werden, die gegen die Annahme der Konstanz verstoßen (d. h. die Wirksamkeit der aktiven Kontrolle hat sich im Laufe der Zeit verändert) oder die keine nachgewiesene Wirksamkeit gegenüber Placebo aufweisen. Forschungsteams behaupten oft, dass placebokontrollierte Studien nicht durchführbar sind, weil: (1) Placebos sind unethisch, weil es andere Interventionen gibt, (2) Patienten sind nicht bereit, an placebokontrollierten Studien teilzunehmen, und (3) Institutional Review Boards stellen die Ethik der Verwendung von Placebos in diesen Situationen in Frage.
Bei der Auswahl der aktiven Kontrolle für eine Nichtunterlegenheitsstudie muss berücksichtigt werden, wie die Wirksamkeit der aktiven Kontrolle nachgewiesen wurde (z. B. durch den Nachweis der Nichtunterlegenheit gegenüber einer anderen aktiven Kontrolle oder durch den Nachweis der Überlegenheit gegenüber Placebo). Wurde die Wirksamkeit der aktiven Kontrolle durch eine Nichtunterlegenheitsstudie nachgewiesen, muss die Gefahr des Biokriechens berücksichtigt werden. Biocreep ist die Tendenz, dass eine leicht unterlegene Therapie (aber innerhalb der Spanne der Nichtunterlegenheit), die sich in einer Nichtunterlegenheitsstudie als wirksam erwiesen hat, in der nächsten Generation von Nichtunterlegenheitsstudien die aktive Kontrolle darstellt. Mehrere Generationen von Nichtunterlegenheitsstudien mit aktiven Kontrollen, die sich ihrerseits in Nichtunterlegenheitsstudien als wirksam erwiesen haben, könnten schließlich zum Nachweis der Nichtunterlegenheit einer Therapie führen, die nicht besser ist als Placebo. Logischerweise ist die Nichtunterlegenheit nicht transitiv: Wenn A nicht besser ist als B und B nicht besser ist als C, dann folgt daraus nicht notwendigerweise, dass A nicht besser ist als C. Aus diesen Gründen sollten bei Nichtunterlegenheitsstudien im Allgemeinen die besten verfügbaren aktiven Kontrollen ausgewählt werden.
Die Auswahl der Nichtunterlegenheitsgrenze in Nichtunterlegenheitsstudien ist ein komplexes Thema, das zu vielen Diskussionen geführt hat. Im Allgemeinen erfolgt die Auswahl der Nichtunterlegenheitsmarge in der Planungsphase der Studie und wird zur Bestimmung des Stichprobenumfangs herangezogen. Die Festlegung der Nichtunterlegenheitsmarge in Nichtunterlegenheitsstudien ist kontextabhängig und spielt eine direkte Rolle bei der Interpretation der Studienergebnisse. Die Auswahl der Nichtunterlegenheitsgrenze ist subjektiv, aber strukturiert und erfordert eine Kombination aus statistischer Argumentation und klinischem Urteil. Konzeptionell kann man die Nichtunterlegenheitsmarge als den „maximalen Behandlungsunterschied, der klinisch irrelevant ist“ oder den „größten Wirksamkeitsunterschied, der akzeptabel ist, um die Vorteile der Intervention zu erhalten“ betrachten. Dieses Konzept erfordert häufig Interaktionen zwischen Statistikern und Klinikern.
Da ein indirektes Ziel einer Nichtunterlegenheitsstudie darin besteht, zu zeigen, dass die Intervention dem Placebo überlegen ist, muss ein Teil des Effekts der aktiven Kontrolle gegenüber dem Placebo erhalten bleiben (oft als „Bewahrung eines Teils des Effekts“ bezeichnet). Daher sollte die Nichtunterlegenheitsgrenze so gewählt werden, dass sie kleiner ist als die Effektgröße der aktiven Kontrolle im Vergleich zu Placebo. Forscher sollten die historischen Daten prüfen, die die Überlegenheit der aktiven Kontrolle gegenüber Placebo gezeigt haben, um bei der Festlegung der Nichtunterlegenheitsmarge zu helfen. Die Forscher müssen auch die Variabilität der Schätzungen innerhalb und zwischen den Versuchen berücksichtigen. Idealerweise sollte die Nichtunterlegenheitsmarge unabhängig von der Studienleistung gewählt werden, aber es kann zu praktischen Einschränkungen kommen, da die Wahl der Nichtunterlegenheitsmarge die Studienleistung drastisch beeinflusst.
Eine Strategie zur Erhaltung der Schätzung des Effekts besteht darin, die Nichtunterlegenheitsmarge auf einen bestimmten Prozentsatz (z. B. 50 %) des geschätzten Effekts der aktiven Kontrolle gegenüber Placebo festzulegen. Alternativ könnte auch die „95%-95%-Konfidenzintervall-Methode“ verwendet werden. Bei dieser Strategie wird die Nichtunterlegenheitsmarge auf die untere Grenze des 95%-Konfidenzintervalls für die Wirkung der aktiven Kontrolle im Vergleich zu Placebo festgelegt. Eine ungünstige Wahl der Nichtunterlegenheitsmarge kann zu einer fehlgeschlagenen Nichtunterlegenheitsstudie führen. In der SPORTIF V-Studie wurde Ximelegatran zur Schlaganfallprävention bei Patienten mit Vorhofflimmern mit Warfarin (aktive Kontrolle) verglichen. Die Ereignisrate für Warfarin lag bei 1,2 %, und die Nichtunterlegenheitsgrenze wurde auf der Grundlage historischer Daten auf 2 % festgelegt (absolute Differenz der Ereignisraten). Da die Ereignisrate im Warfarin-Arm niedrig war, konnte die Nichtunterlegenheit festgestellt werden, auch wenn die Studie eine Verdoppelung der Ereignisrate nicht ausschließen konnte. Aus diesen Gründen sollten bei der Auswahl der Nichtunterlegenheitsmarge sowohl statistische Überlegungen als auch Überlegungen zur klinischen Relevanz berücksichtigt werden.
Eine natürliche Frage ist, ob eine Nichtunterlegenheitsmarge nach Beginn der Studie geändert werden kann. Im Allgemeinen gibt es wenig Bedenken gegen eine Verringerung der Nichtunterlegenheitsmarge. Eine Erhöhung der Nichtunterlegenheitsmarge kann jedoch als Manipulation empfunden werden, wenn sie nicht angemessen begründet wird (d. h. auf externen, von der Studie unabhängigen Daten beruht).
Der Stichprobenumfang hängt von der Wahl der Nichtunterlegenheitsmarge und anderen Parametern ab. Der erforderliche Stichprobenumfang steigt mit abnehmender Nichtunterlegenheitsmarge. Eine Stratifizierung kann hilfreich sein, da die bereinigten Konfidenzintervalle im Allgemeinen enger sind als die nicht bereinigten Konfidenzintervalle. Forscher sollten Nichtunterlegenheitsstudien sowohl für eine Analyse pro Protokoll als auch für eine Intent-to-treat-Analyse (ITT) ausstatten, da beide Analysen wichtig sind (siehe unten). Die Forscher müssen auch die Kosten des Fehlers vom Typ I (d. h. die fälschliche Behauptung der Nichtunterlegenheit) und des Fehlers vom Typ II (d. h. die fälschliche Nichtbehauptung der Nichtunterlegenheit) abwägen. Ein Ansatz zur Dimensionierung einer Nichtunterlegenheitsstudie besteht darin, die Studie aus der Perspektive der Schätzung zu betrachten. Die Strategie besteht darin, den Unterschied zwischen den Behandlungen mit angemessener Genauigkeit zu schätzen (gemessen an der Breite eines Konfidenzintervalls). Dann wird die Studie so dimensioniert, dass die Breite des Konfidenzintervalls für den Unterschied zwischen den Behandlungen akzeptabel ist.
Zwischenanalysen von Nichtunterlegenheitsstudien können kompliziert sein. Im Allgemeinen bedarf es überwältigender Beweise, um den Abbruch einer Studie wegen Nichtunterlegenheit während der Zwischenanalysen vorzuschlagen. Außerdem besteht möglicherweise keine ethische Notwendigkeit, eine Studie abzubrechen, die Nichtunterlegenheit gezeigt hat (im Gegensatz zu Überlegenheitsstudien, bei denen im Falle einer nachgewiesenen Überlegenheit die Studie aus ethischen Gründen abgebrochen werden muss, da eine Randomisierung in einen unterlegenen Arm als unethisch angesehen werden kann). Darüber hinaus kann es selbst dann, wenn die Nichtunterlegenheit zu einem Zwischenzeitpunkt nachgewiesen wird, wünschenswert sein, die Studie fortzusetzen, um zu beurteilen, ob mit der Fortsetzung der Studie eine Überlegenheit nachgewiesen werden kann. Es ist nicht ungewöhnlich, dass eine Nichtunterlegenheitsstudie wegen Vergeblichkeit abgebrochen wird (d. h. weil die Nichtunterlegenheit nicht nachgewiesen werden kann). Verwendung von wiederholten Konfidenzintervallen zur Kontrolle der Fehlerquoten mit prognostizierten Intervalldiagrammen (Evans et al 2007a; Li et al. 2009) können Datenüberwachungsausschüsse bei der Zwischenentscheidung unterstützen.
Die traditionellen Ansätze für die Gestaltung und Analyse von Nichtunterlegenheitsstudien wurden kürzlich kritisiert, weil sie nicht zwischen den beiden verschiedenen Teilzielen von Nichtunterlegenheitsstudien unterscheiden: (1) den Nachweis, dass die Intervention der aktiven Kontrolle nicht unterlegen ist, und (2) den Nachweis, dass die Intervention unter Berücksichtigung der historischen Evidenz dem Placebo überlegen ist. Das Design einer Nichtunterlegenheitsstudie kann durch die Planung der Prüfung von zwei separaten Hypothesen erreicht werden. In einer bestimmten Studie kann nur eines der beiden Teilziele erreicht werden. Wenn sich die Intervention gegenüber Placebo als überlegen erweist, aber die Nichtunterlegenheit gegenüber der aktiven Kontrolle nicht nachgewiesen werden kann, dann kann die Intervention für Patienten angezeigt sein, bei denen die aktive Kontrolle kontraindiziert oder nicht verfügbar ist. Im Gegensatz dazu könnte sich die Intervention gegenüber der aktiven Kontrolle als nicht unterlegen erweisen, aber gegenüber Placebo nicht überlegen sein. Dies kann der Fall sein, wenn die Wirksamkeit der aktiven Kontrolle bescheiden ist. Kürzlich wurde behauptet, dass das zweite der beiden Teilziele (d. h. der Nachweis der Überlegenheit gegenüber Placebo) das Ziel ist, das im Rahmen der Zulassung von Interesse ist. Industriegruppen haben argumentiert, dass die behördliche Zulassung neuer Therapien auf dem Nachweis der Überlegenheit gegenüber Placebo (Nachweis eines klinisch bedeutsamen Nutzens) und nicht unbedingt auf der Nichtunterlegenheit gegenüber einer aktiven Kontrolle beruhen sollte. Die Befürworter dieser Sichtweise (oft als „Synthesemethode“ bezeichnet) führen mehrere Dilemmata und Ungereimtheiten mit den traditionellen Ansätzen für Nichtunterlegenheitsstudien an, um diese Position zu untermauern. Erstens könnte die Intervention besser aussehen als die aktive Kontrolle, aber die Bedingung der Erhaltung des Effekts nicht erfüllen. Zweitens: Zwei Studien mit unterschiedlichen aktiven Kontrollen haben unterschiedliche Erfolgsstandards. Drittens: Wenn sich die Intervention gegenüber einer aktiven Kontrolle als überlegen erweist, stellt sich natürlich die Frage, ob die aktive Kontrolle vom Markt genommen werden sollte. Das Grundargument lautet, dass der erforderliche Grad der Wirksamkeit unabhängig vom Design (Überlegenheit vs. Nichtunterlegenheit) sein sollte und dass die Überlegenheit gegenüber Placebo der Standard für die Zulassung ist. Die Befürworter der Synthesemethode argumentieren daher, dass die Terminologie „Nichtunterlegenheitsstudie“ unangemessen ist, da die Überlegenheit der Intervention gegenüber Placebo das eigentliche Ziel ist.
Eine wissenschaftlich attraktive Alternative ist die Durchführung einer dreiarmigen Studie, die aus der Intervention, der aktiven Kontrolle und einem Placebo-Arm besteht. Dieses Design ist besonders attraktiv, wenn sich die Wirksamkeit der aktiven Kontrolle verändert hat, unbeständig ist oder angezweifelt wird. Dieses Design ermöglicht die direkte Bewertung der Nichtunterlegenheit und Überlegenheit gegenüber Placebo und erlaubt die Validierung der Nichtunterlegenheitsspanne innerhalb der Studie. Leider wird dieses Design nicht häufig angewandt, da in einigen Fällen Bedenken hinsichtlich der unethischen Natur des Placebo-Arms bestehen.
Die Wahl der Nichtunterlegenheitsmarge spielt eine direkte Rolle bei der Interpretation der Nichtunterlegenheitsstudie, anders als der minimale klinisch relevante Unterschied, der häufig in Überlegenheitsstudien definiert wird. Daher sollte die Begründung für die Nichtunterlegenheitsmarge in den Analysen dargelegt werden. Bei der Analyse von Nichtunterlegenheitsstudien werden auch Informationen außerhalb der aktuellen Studie verwendet, um auf die Wirkung der Intervention gegenüber Placebo zu schließen, wenn kein direkter Vergleich vorliegt. Daher wird empfohlen, einen Vergleich der Ansprechrate, der Adhärenz usw. der aktiven Kontrolle in der Nichtunterlegenheitsstudie mit historischen Studien durchzuführen, in denen die aktive Kontrolle mit Placebo verglichen wurde und die Wirksamkeit der aktiven Kontrolle nachgewiesen wurde. Zeigt die aktive Kontrolle eine andere Wirksamkeit als in früheren Studien, kann die Gültigkeit der vordefinierten Nichtunterlegenheitsspanne in Frage gestellt werden, und die Interpretation der Ergebnisse wird schwierig.
Der allgemeine Ansatz für die Analyse besteht darin, ein zweiseitiges Konfidenzintervall zu berechnen (ein p-Wert ist im Allgemeinen nicht angemessen). Häufig wird die Frage gestellt, ob ein 1-seitiges Konfidenzintervall von 0,05 angesichts des 1-seitigen Charakters der Nichtunterlegenheit akzeptabel ist; 2-seitige Konfidenzintervalle sind jedoch im Allgemeinen für die Konsistenz zwischen Signifikanztests und anschließender Schätzung angemessen. Es ist zu beachten, dass ein 1-seitiges 95 %-Konfidenzintervall das Evidenzniveau für Schlussfolgerungen im Vergleich zur akzeptierten Praxis in Überlegenheitsstudien senken würde.
In Überlegenheitsstudien ist eine Intent-to-treat (ITT)-basierte Analyse tendenziell konservativ (d. h. es besteht die Tendenz, die wahren Behandlungsunterschiede zu unterschätzen). Daher werden ITT-Analysen im Allgemeinen als primäre Analysen in Überlegenheitsstudien betrachtet, da dies dazu beiträgt, die Fehlerrate vom Typ I zu schützen. Da das Ziel von Nichtunterlegenheitsstudien darin besteht, Nichtunterlegenheit oder Ähnlichkeit nachzuweisen, kann eine Unterschätzung des tatsächlichen Behandlungsunterschieds zu einer Verzerrung in Richtung Nichtunterlegenheit führen und so die „falsch positive“ Fehlerquote (d. h. die fälschliche Behauptung der Nichtunterlegenheit) erhöhen. Daher ist die ITT-Analyse bei Nichtunterlegenheitsstudien nicht unbedingt konservativ. Aus diesen Gründen werden in Nichtunterlegenheitsstudien häufig eine ITT-Analyse und eine Analyse nach Protokoll (d. h. eine Analyse auf der Grundlage von Studienteilnehmern, die sich an das Protokoll gehalten haben) als Co-Primäranalysen betrachtet. Es ist wichtig, beide Analysen (und möglicherweise zusätzliche Sensitivitätsanalysen) durchzuführen, um die Robustheit des Studienergebnisses zu bewerten. Per-Protocol-Analysen führen oft zu einer größeren Effektgröße, da ITT die Schätzung des Effekts oft verwässert, führen aber häufig zu breiteren Konfidenzintervallen, da sie auf weniger Studienteilnehmern basieren als ITT.
Wenn eine Nichtunterlegenheitsstudie durchgeführt wird und die Nichtunterlegenheit der Intervention gegenüber einer aktiven Kontrolle nachgewiesen wird, stellt sich natürlich die Frage, ob eine stärkere Behauptung der Überlegenheit aufgestellt werden kann. Mit anderen Worten: Welche Auswirkungen hat der Wechsel von einer Nichtunterlegenheitsstudie zu einer Überlegenheitsstudie? Wenn umgekehrt eine Überlegenheitsstudie durchgeführt wird und keine signifikanten Unterschiede zwischen den Gruppen festgestellt werden, stellt sich natürlich die Frage, ob eine schwächere Behauptung der Nichtunterlegenheit aufgestellt werden kann. Kann man von einer Überlegenheitsstudie zu einer Nichtunterlegenheitsstudie wechseln?
Im Allgemeinen wird es als akzeptabel angesehen, nach dem Nachweis der Nichtunterlegenheit eine Bewertung der Überlegenheit durchzuführen. Aufgrund des Prinzips der geschlossenen Prüfung ist keine Anpassung der Multiplizität erforderlich. Die Intent-to-treat- und die Per-Protocol-Analyse sind beide wichtig für die Nichtunterlegenheitsanalyse, aber die Intent-to-treat-Analyse ist die wichtigste Analyse für die Bewertung der Überlegenheit. Es ist schwieriger, eine Behauptung der Nichtunterlegenheit zu rechtfertigen, wenn die Überlegenheit nicht nachgewiesen werden konnte. Dabei sind mehrere Aspekte zu berücksichtigen. Erstens ist es wichtig zu wissen, ob eine Marge für die Nichtunterlegenheit vorab festgelegt wurde. Die Festlegung der Nichtunterlegenheitsgrenze im Nachhinein kann schwer zu rechtfertigen sein und als Manipulation empfunden werden. Die Wahl der Nichtunterlegenheitsmarge muss unabhängig von den Studiendaten sein (d. h. auf externen Informationen beruhen), was sich nur schwer nachweisen lässt, wenn die Daten bereits gesammelt und entblindet wurden. Zweitens: Ist die Kontrollgruppe eine geeignete Kontrollgruppe für eine Nichtunterlegenheitsstudie (d. h. hat sie eine Überlegenheit gegenüber Placebo nachgewiesen und genau gemessen)? Drittens: War die Wirksamkeit der Kontrollgruppe mit derjenigen vergleichbar, die in früheren Studien gegenüber Placebo gezeigt wurde (Annahme der Konstanz)? Viertens sind die Intent-to-treat- und die Per-Protocol-Analyse gleichermaßen wichtig. Fünftens muss die Studienqualität hoch sein (akzeptable Adhärenz und wenige Studienabbrecher). Sechstens muss die Sensitivität des Tests akzeptabel sein.
Die Berichterstattung über Nichtunterlegenheitsstudien war in der medizinischen Literatur suboptimal. Greene und seine Mitautoren untersuchten in den Annals of Internal Medicine 88 Studien, in denen Nichtunterlegenheit behauptet wurde, stellten jedoch fest, dass 67 % dieser Studien Nichtunterlegenheit auf der Grundlage nicht signifikanter Überlegenheitstests behaupteten. (Greene et al. 2000) Außerdem wurde nur in 23 % der Studien eine Nichtunterlegenheitsmarge vorgegeben. Piaggio und seine Mitautoren veröffentlichten im Journal of the American Medical Association eine Erweiterung der CONSORT-Erklärung, um eine angemessene Berichterstattung über Nichtunterlegenheitsstudien zu ermöglichen. (Piaggio et al. 2006) Ein FDA-Leitfaden für Nichtunterlegenheitsstudien ist derzeit in Arbeit.