Evaluation

Nachdem in den letzten Jahren in der Gesundheitsförderung und Prävention eine ganze Reihe von Qualitätsverfahren und -instrumenten entwickelt und eingesetzt wurden, wird zunehmend der Ruf nach einer Qualitätsprüfung dieser Verfahren und Instrumente laut. Im Vordergrund stehen dabei die Fragen, wie es um die Zuverlässigkeit der Verfahren (d.h. die Reliabilität) bestimmt ist, wie diese seitens der Praxisakteure wahrgenommen und bewertet werden, aber auch auch, ob die Verfahren tatsächlich zu einer Qualitätsentwicklung in der Gesundheitsförderung und Prävention beitragen können. Die Forschungslage zur Beantwortung dieser Fragen ist bislang begrenzt, d.h. die Mehrzahl der Qualitätsverfahren und Instrumente wurden nicht bzw. nur sporadisch evaluiert.

Das QGPS-Verfahren wurde mit Unterstützung der Unfallkasse NRW und der AOK Niedersachsen bislang zweimal evaluiert. Von Interesse war hierbei einerseits die Wahrnehmung des Verfahrens durch die Praxisaketure hinsichtlich ihrer Tauglichkeit, Vollständigkeit, Praktikabilität etc. Zum anderen sollte ermittelt werden, ob die unabhängige Bewertung eines Programms durch unterschiedliche Gutachter auch zu vergleichbaren Ergebnissen führen (d.h. Reliabilität). An der Evaluation der aktuellen Version des QGPS-Verfahrens nahmen insgesamt 15 Personen der Unfallkasse NRW und der AOK Niedersachsen teil. Die Untersuchungsteilnehmer wurden zunächst in Zweierteams  (und ein Dreierteam) eingeteilt und gebeten, ein zuvor ausgewähltes Programm mit Hilfe des QGPS-Verfahrens zu bewerten. Die Mitglieder der Teams bewerten das Programm dabei unabhängig voneinander, wobei die Ergebnisse dokumentiert wurden. Nach Bewertung des jeweils gewählten Programms, wurden die Befragten um die Beantwortung eines kurzen Onlinefragebogens gebeten.

Um die Zuverlässigkeit des Verfahrens bewerten zu können, wurden Reliabilitätsanalysen durchgeführt, bei denen die zufallskorrigierte Interrater-Reliabilität nach Cohens Kappa (κ) berechnet wurde. Im Durchschnitt (d.h. gemittelt über alle Teams) zeigt sich für drei der vier Qualitätsdimensionen eine zufriedenstellende Reliabilität. Lediglich für die Dimension Ergebnisqualität liegt die Reliabilität leicht unterhalb der gesetzten Zielmarke. Auf Ebene der einzelnen Bewertungsteams zeigt sich in etwa der Hälfte der Bewertungen eine hinreichende Reliabilität. Weitere 37% der Bewertungen liegen nur minimal und nur 17% stärker unterhalb der gesetzten Zielmarke.

Die Bewertung des QGPS-Verfahrens durch die Studienteilnehmer fällt über alle Bereiche hinweg positiv aus. Exemplarisch sei auf eine durch die Praxisexperten  als hoch wahrgenommene Passung des Verfahrens mit den für Schule relevanten Bildungsaspekten verwiesen. Mehr als 85 Prozent der Praktiker stimmen zudem der Aussage zu, dass sich mit Hilfe des QGPS-Verfahrens auch tatsächlich Qualität erfassen lässt. Überdies sind die Mehrheit der Befragten der Meinung, dass das Verfahren übersichtlich und klar gegliedert ist, dass die Qualitätsmerkmale sehr verständlich sind und dass die Bewertungsvorgaben (d.h. die Qualtätsindikatoren) die Bewertung der Qualitätsmerkmale erweitern.

 

files/pictures/QGPS-Eva_web.jpg

Abb.: Bewertung des QGPS-Verfahrens durch Praktiker (n=15; Mittelwerte: 1=trifft gar nicht zu, 5=trifft vollständig zu)

 

Einen ausführlichen Bericht der Evaluationsbefunde finden Sie im Manual zum QGPS-Verfahren.