Der Blog
Wie Sie messen können, ob Ihr Simulationsprogramm die klinischen Ergebnisse tatsächlich verbessert
Die Budgets für Simulationen steigen stetig, doch viele Programme tun sich weiterhin schwer, den Nutzen dieser Investitionen nachzuweisen. Sitzungszahlen und Abschlussquoten zeigen der Leitung zwar, dass Schulungen stattgefunden haben, aber selten, ob diese Schulungen die Leistung verbessern oder zu besseren klinischen Ergebnissen am Patientenbett beitragen. Um diese Lücke zu schließen, ist ein anderer Messansatz erforderlich, der die Ergebnisse der Simulationen mit den Resultaten verknüpft, die für Krankenhäuser und akademische Programme tatsächlich relevant sind.
Welche Früh- und Spätindikatoren weisen auf eine Verbesserung der klinischen Ergebnisse hin?
Die meisten Simulationsprogramme verwenden standardmäßig nachlaufende Indikatoren, da diese leicht zu erfassen sind. Anwesenheit, geleistete Stunden und Abschlussquoten fallen in diese Kategorie. Diese Zahlen sind zwar wichtig, bestätigen aber in erster Linie, dass die Schulung stattgefunden hat. Vorlaufende Indikatoren hingegen liefern ein anderes Bild.
Die Auswertung von Checklisten, die Reaktionszeit in Szenarien und die Kommunikationsmuster in Teamsimulationen zeigen, ob sich Fähigkeiten und Verhaltensweisen verbessern, bevor sie im realen Patientenkontakt auf die Probe gestellt werden. Ein Programm, das sowohl Früh- als auch Spätindikatoren erfasst, liefert ein umfassenderes Bild der Einsatzbereitschaft und dokumentiert nicht nur die Teilnahme.
Die Verknüpfung von Simulationsdaten mit klinischen Daten kann zusätzliche Erkenntnisse liefern. Der Vergleich von Simulationsleistungstrends mit Kennzahlen auf Stationsebene, wie z. B. Medikationsfehlerraten, Reaktionszeiten oder anderen relevanten Qualitätsindikatoren, kann Organisationen helfen zu untersuchen, ob sich die in der Ausbildung erzielten Verbesserungen auch in der Praxis bewähren. Ziel ist es nicht anzunehmen, dass die Simulation allein eine Veränderung bewirkt hat, sondern nach aussagekräftigen Zusammenhängen zwischen der Ausbildungsleistung und den klinischen Ergebnissen zu suchen.
Messung der Lernbereitschaft und der Teamleistung
Individuelle Kompetenz und Teamleistung erfordern unterschiedliche Messansätze. Ein Lernender kann in einer individuellen Kompetenzbeurteilung zwar hohe Fähigkeiten nachweisen, aber dennoch in einem chaotischen Szenario mit mehreren Rollen Schwierigkeiten haben. Teambasierte Simulationen bieten die Möglichkeit, Kommunikation, Rollenklarheit, Situationsbewusstsein und die Effektivität einer Gruppe bei der Erkennung und Reaktion auf einen sich verschlechternden Patientenzustand zu untersuchen.
Hier wird die Unterscheidung zwischen Nachbesprechung und formaler Bewertung relevant. Eine Nachbesprechung ist die Auswertung des Geschehens nach dem Szenario, ähnlich einer Spielanalyse im Sport. Moderatoren und Lernende können das Szenario Schritt für Schritt durchgehen und Entscheidungen, Kommunikation, Handlungen und Verbesserungsmöglichkeiten analysieren. Ziel ist es, zu verstehen, was passiert ist und warum, und anschließend zu identifizieren, was in zukünftigen Übungen anders gemacht werden kann.
Die formale Bewertung ist etwas anderes. Sie findet Anwendung, wenn eine Prüfung definierte Kriterien hat, wie beispielsweise eine OSCE (Objective Structured Clinical Examination) in der Pflegeausbildung. In solchen Fällen beurteilen die Lehrenden die Leistung anhand spezifischer Anforderungen und dokumentieren, ob die Lernenden diese erfüllt haben.
Die Erfassung der Inhalte beider Sitzungsarten schafft eine zuverlässigere Dokumentation für die Auswertung. Aufgezeichnete Sitzungen, standardisierte Checklisten und objektive Daten bieten Lehrenden einheitliche Bezugspunkte, anstatt sich ausschließlich auf ihr Gedächtnis oder subjektive Eindrücke zu verlassen. Im Laufe der Zeit können diese Informationen Programmen helfen, Muster in der Lernleistung zu erkennen und festzustellen, wo zusätzlicher Schulungsbedarf besteht.
Was LearningSpace Analytics unterstützen kann
Die manuelle Zusammenstellung von Informationen über verschiedene Sitzungen, Lernende und Kohorten hinweg wird mit zunehmender Größe eines Simulationsprogramms immer schwieriger. LearningSpace führt Sitzungsaufzeichnungen, Simulatordaten, Notizen und Bewertungsinformationen zusammen, sodass Dozenten den Verlauf eines Szenarios nachvollziehen und die Leistungsentwicklung im Zeitverlauf analysieren können.
Für die Nachbesprechung ist eine Aufzeichnung der Sitzung hilfreich, da so der Ablauf detailliert nachvollzogen werden kann, anstatt sich ausschließlich auf die Erinnerungen der Teilnehmenden und der Moderatoren zu verlassen. Die Lehrenden können die aufgezeichneten Informationen nutzen, um in der Nachbesprechung spezifische Entscheidungen, Kommunikationsmuster und Handlungen zu diskutieren.
LearningSpace unterstützt auch formale Bewertungsprozesse, wenn ein Programm definierte Bewertungskriterien verwendet. Hier kommt Ehli , der KI-Assistent von Elevate Healthcare, zum Einsatz. Ehli kann Sitzungen transkribieren und Checklisten mit zeitgestempelten Belegen vorschlagen, sodass die Bewertenden relevante Momente während formaler Bewertungen effizienter finden können. Die Dozierenden bleiben weiterhin für die Überprüfung und Festlegung der Endnote verantwortlich.
Die resultierende Dokumentation kann auch Akkreditierungsaktivitäten unterstützen. Anstatt sich auf anekdotische Beobachtungen zu stützen, können Programme dokumentierte Leistungsdaten, Bewertungsergebnisse und Sitzungsprotokolle nutzen, um darzulegen, wie Lernende evaluiert werden und wie das Programm diese Informationen verwendet, um Verbesserungspotenziale zu identifizieren.
Wie eine Analyse der klinischen Ergebnislücke Verbesserungspotenziale aufzeigen kann:
Simulationsdaten können zwar zeigen, was während des Trainings geschieht, aber sie zeigen einem Programm nicht automatisch, wo seine größten Verbesserungsmöglichkeiten liegen. Dazu ist es erforderlich, die Trainingsleistung im Zusammenhang mit übergeordneten Organisationszielen und klinischen Ergebnissen zu betrachten.
Achieve , die Beratungssparte des Elevate Learning Institute , bietet eine Analyse der klinischen Ergebnislücken an, die Organisationen dabei helfen soll, diese Verbindung herzustellen. Der Prozess untersucht den Schulungsbedarf und die Lücken in den klinischen Ergebnissen, um Bereiche zu identifizieren, in denen die aktuellen Bildungs- und Simulationsmaßnahmen die Prioritäten der Organisation möglicherweise nicht vollständig abdecken.
Eine Gap-Analyse kann helfen, Fragen wie die folgenden zu beantworten: Zeigen die Lernenden die vom Unternehmen benötigten Verhaltensweisen? Berücksichtigen die aktuellen Szenarien die richtigen klinischen Risiken? Wo treten Leistungslücken wiederholt auf? Und wie genau stimmt das Simulationscurriculum mit den Ergebnissen überein, die das Unternehmen verbessern möchte?
Der Wert dieser Art von Überprüfung liegt nicht nur in der Feststellung einer bestehenden Lücke. Die Ergebnisse können als Grundlage für praktische Änderungen an Szenarien, Beurteilungen, Lehrplänen oder Schulungsprioritäten dienen. Dadurch erhalten Programmverantwortliche eine klarere Basis für die Entscheidung, was geändert und was als Nächstes gemessen werden soll.
Umwandlung von Simulationsdaten in aussagekräftige Berichte zur Verbesserung klinischer Ergebnisse
Krankenhausleitungen und Hochschulleitungen benötigen selten Rohdaten aus Simulationssitzungen. Sie müssen vielmehr verstehen, was die Daten bedeuten und wie sie mit den Prioritäten der Organisation zusammenhängen. Um aussagekräftige Berichte über Simulationsmetriken zu erstellen, müssen Trends im Zeitverlauf analysiert und mit Zielen wie Patientensicherheit, Akkreditierung, klinischer Qualität oder Lernbereitschaft verknüpft werden.
Ein Bericht, der beispielsweise eine Leistungsverbesserung in einem bestimmten Simulationsmaßstab aufzeigt, gewinnt an Aussagekraft, wenn er zusammen mit relevanten klinischen oder Qualitätsdaten betrachtet wird. Ziel ist es, der Führungsebene genügend Kontext zu liefern, um zu verstehen, wo Fortschritte erzielt werden, wo noch Lücken bestehen und welche Maßnahmen gegebenenfalls erforderlich sind.
Die Weiterbildung der Lehrenden ist ein wichtiger Bestandteil dieses Prozesses. Das Elevate Learning Institute unterstützt dies durch erfahrungsorientiertes Lernen. Dabei lernen die Teilnehmenden, indem sie sich aktiv in realistische Situationen einbringen, Fähigkeiten üben, über das Erlebte reflektieren und die gewonnenen Erkenntnisse auf zukünftige Szenarien anwenden. Die Angebote für erfahrungsorientiertes Lernen werden in Simulationszentren in Sarasota, Florida, und Austin, Texas, bereitgestellt.
Der Aufbau dieser analytischen Fähigkeiten innerhalb des Simulationsteams kann es Programmverantwortlichen erleichtern, ihre eigenen Daten zu interpretieren, Ergebnisse den Stakeholdern zu kommunizieren und Messungen in die laufende Programmverbesserung zu integrieren.
Entwicklung einer Messstrategie zur Unterstützung kontinuierlicher Verbesserung
Die Messung klinischer Ergebnisse beschränkt sich nicht darauf, eine einzelne Kennzahl zu finden, die die Wirksamkeit eines Simulationsprogramms beweist. Viele Faktoren beeinflussen die klinischen Ergebnisse, und die Simulation ist nur ein Teil eines viel größeren Systems. Eine sinnvolle Messstrategie schafft stattdessen einen kontinuierlichen Feedback-Kreislauf: Die relevanten Ergebnisse werden identifiziert, die dazu beitragenden Verhaltensweisen und Kompetenzen ermittelt, die Leistung während der Simulation gemessen, die Ergebnisse mit relevanten klinischen Daten verglichen und die Resultate zur Steuerung zukünftiger Schulungen genutzt.
Dieser Prozess erfordert zudem Kontinuität. Verwenden Sie nach Möglichkeit über einen längeren Zeitraum dieselben Messgrößen, damit die Programmverantwortlichen aussagekräftige Trends von einzelnen Ergebnissen unterscheiden können. Wenn die Messung Teil des regulären Simulationszyklus wird und nicht nur der Berichterstattung dient, werden die Daten für die alltägliche Entscheidungsfindung deutlich nützlicher.
Die besten Simulationsprogramme sammeln nicht einfach nur mehr Daten. Sie sammeln die richtigen Daten, interpretieren sie im Kontext und nutzen die gewonnenen Erkenntnisse, um die nächste Trainingsrunde relevanter zu gestalten. Dadurch wird die Messung von einer reinen Berichtsübung zu einem Instrument der kontinuierlichen Verbesserung und letztlich zu einer besseren klinischen Praxis.