Zielsetzung: Systematischen Übersichtsarbeiten (SR) wird der höchste Evidenzgrad zugesprochen, doch auch sie sind nicht frei von methodischen Mängeln und Verzerrungen. Derzeit ist AMSTAR das am häufigsten gebrauchte Instrument zur Bewertung der methodischen Qualität von SRs. Es verfügt über gute psychometrische Eigenschaften.

Vor kurzem wurde das ROBIS-Instrument entwickelt, welches explizit der Bewertung des Risikos für Verzerrung in SRs dient. Es gliedert sich in drei Phasen:

1. Beurteilung der Relevanz des SRs
2. Identifizierung von Verzerrungspotential bezüglich des Review-Prozesses und
3. Beurteilung des Risk of Bias des gesamten Reviews.

In Phase 2 werden vier Domänen (1) Einschlusskriterien der Studien, (2) Identifizierung und Selektion der Studien, (3) Datensammlung und Bewertung und (4)Synthese und Ergebnisse mithilfe von Hilfsfragen bewertet. Phase 3 beurteilt das Gesamtverzerrungspotenzial in der Interpretation der Ergebnisse und ob diese als Limitationen in den Domänen in Phase 2 identifiziert wurden.

Ziel des Projekts ist es, ROBIS im Vergleich zu AMSTAR zu erproben und die psychometrischen Eigenschaften (Validität, Reliabilität, Anwendbarkeit) zu evaluieren.

Methoden: 16 zuvor systematisch identifizierte SRs aus der Arbeitsmedizin wurden, nach einer a priori festgelegten Reihenfolge, von vier Bewertenden unabhängig voneinander mit ROBIS und AMSTAR bewertet. Zwei Rater sind erfahren mit AMSTAR (>100 Bewertungen) und zwei moderat (< 20) erfahren. ROBIS wurde bisher von keinem der Bewertenden verwendet.

Mit ROBIS wurden sowohl die Hilfsfragen als auch das Gesamtrisiko für Verzerrung der einzelnen Domänen (Phase 2) und des SRs insgesamt (Phase 3) beantwortet und konsentiert. Eine Bewertung der Relevanz des SRs (Phase 1) ist optional und fand nicht statt. Bei AMSTAR wurden alle 11 Fragen bewertet.

Nach Abschluss der Bewertung aller 16 Reviews fand ein Austausch zwischen den einzelnen Bewertenden statt.

Um die psychometrischen Eigenschaften der beiden Instrumente zu messen, soll die Interrater-Reliabilität jeweils pro Bewertungsinstrument sowie die Konstruktvalidität (Intra-Klassen-Korrelation) errechnet werden. Es sollen die Zeiten, für die Einzelbewertungen und die Konsensfindung dokumentiert werden und eine Lernkurve für den Gebrauch von ROBIS dargestellt werden. Außerdem sollen weitere Aspekte bei der Anwendbarkeit beider Instrumente herausgearbeitet werden z. B. spezifische Probleme bei der Bewertung einzelner Items.

Der gesamte Artikel kann über die Internetseite des Journals "German Medical Science", 2016 bezogen werden: "Erste Erfahrungen mit ROBIS im Vergleich zum etablierten AMSTAR-Tool" (ggfs. kostenpflichtig).