Hintergrund: Es gibt diverse Bewertungsinstrumente zur Qualitätsbewertung systematischer Reviews (SR), jedoch bislang keinen Konsens über ein zu verwendendes Instrument. AMSTAR hat sich zwar als eines der meist verwendeten Instrumente etabliert, jedoch wurde wiederholt kritisiert, dass der Fokus auf der Ergebnisdarstellung und weniger auf der methodischen Qualität liegt oder AMSTAR ausschließlich für die Bewertung von SR von RCTs entwickelt wurde. Im September 2017 veröffentlichten Shea et al. die überarbeitete Version AMSTAR 2, welches für SR von RCTs und nicht-RCTs anwendbar ist. Erste Informationen zur Interrater-Reliabilität (IRR) basierend auf jeweils zwei Bewertern liegen vor.

Im vorliegenden Forschungsprojekt sollen die Gütekriterien von AMSTAR 2 weiter untersucht und die IRR und Praktikabilität mit AMSTAR und ROBIS verglichen werden. Erste Ergebnisse zur IRR sollen auf dem Kongress präsentiert werden.

Methoden: Die IRR von AMSTAR 2 wird anhand zweier Stichproben untersucht, die jeweils 30 SR aus dem Themenbereich der pharmakologischen und psychotherapeutischen Behandlung der Major Depression bei Erwachsenen umfassen. SR von RCTs und SR von nicht-RCTs werden in die Analyse eingeschlossen. Zur Identifikation der 60 SR wurde eine systematische Literaturrecherche in The Cochrane Library, MEDLINE und EMBASE durchgeführt. Es wurden die Treffer im zweistufigen Screening auf Einschluss überprüft und anschließend aus dem SR-Pool für jede der beiden Stichproben 30 Publikationen zufällig ausgewählt.

Nach einer Kalibrierungsphase wird jeder SR mit AMSTAR 2 bewertet, wobei die beiden Stichproben auf zwei Bewertergruppen bestehend aus jeweils vier Bewertern aufgeteilt werden. Neben der AMSTAR2-Bewertung erfolgt für die 30 SR der ersten Stichprobe zusätzlich eine Bewertung mit AMSTAR und für die SR der zweiten Stichprobe eine Bewertung mit ROBIS. Zur Ermittlung der IRR-Koeffizienten werden Fleiss' kappa κ und Gwets AC1 berechnet.

Ergebnisse/Schlussfolgerungen: Die Literaturrecherche erzielte 1524 Treffer, 72 SR wurden als relevant identifiziert und daraus 2 Stichproben à 30 SR gezogen. Die SR-Bewertung läuft derzeit. Als Teilergebnisse des Projektes werden basierend auf vier Bewertern und einer Stichprobe von zweimal 15 SR die IRR von AMSTAR 2 auf der Konferenz präsentiert, mit AMSTAR und ROBIS verglichen und diskutiert.

Der gesamte Tagungsbeitrag kann von der Internetseite "German Medical Science" heruntergeladen werden: "Qualitätsbewertung systematischer Reviews: Interrater-Reliabilität des neuen AMSTAR 2 im Vergleich zu AMSTAR und ROBIS" (ggfs. kostenpflichtig).