Im Usability Engineering für Medizinprodukte bezeichnet die Validierung den Nachweis mit objektiven Verfahren, dass repräsentative Anwender die vorgesehenen Aufgaben mit dem Medizinprodukt im spezifizierten Nutzungskontext sicher und wirksam durchführen können. Innerhalb der IEC 62366-1 entspricht sie regulatorisch weitgehend der „Human Factors Validation" bzw. „Summative Evaluation" der FDA.
Rolle der Validierung im Usability-Engineering-Prozess
Die Validierung steht am Ende des Usability-Engineering-Prozesses. Sie baut auf Anwendungsspezifikation, Nutzungsrisikoanalyse, User-Interface-Design sowie formativen Evaluationen auf. Anders als formative Aktivitäten dient sie nicht mehr primär der Identifikation von Schwachstellen, sondern dem Nachweis, dass die entscheidenden Risiken durch das finale Design ausreichend kontrolliert werden. Eine Validierung ohne vorherige formative Iterationen führt häufig zu vermeidbaren Findings und kann regulatorisch schwer begründbar sein.
Abgrenzung zu Verifikation und formativer Evaluation
Verifikation beantwortet die Frage, ob das Produkt entsprechend seiner Spezifikation entwickelt wurde. Validierung untersucht dagegen, ob das Produkt die Nutzeranforderungen und die vorgesehene Anwendung tatsächlich unterstützt. Ebenso darf eine Validierung nicht mit einer formativen Evaluation verwechselt werden: Formative Studien dienen der Optimierung des Designs und dürfen bewusst unfertige Prototypen einsetzen, eine Validierung erfolgt dagegen an einem weitgehend finalen Produkt oder einer finalen Repräsentation der Benutzungsschnittstelle.
Repräsentative Nutzer und Nutzungskontexte
Eine zentrale Anforderung besteht darin, dass die Teilnehmer die tatsächlich vorgesehenen Benutzergruppen repräsentieren. Relevante Merkmale können beispielsweise berufliche Qualifikation, Produkterfahrung, Alter, körperliche Fähigkeiten oder sprachliche Kompetenzen sein. Zusätzlich müssen Nutzungskontext und Umgebung realitätsnah abgebildet werden – dazu gehören klinische Arbeitsbelastung, häusliche Anwendungsbedingungen, Lichtverhältnisse, Lärmbelastung oder Zeitdruck. Eine Validierung unter unrealistischen Laborbedingungen kann die Aussagekraft erheblich reduzieren.
Kritische Aufgaben und risikobasierte Szenarien
Nicht jede Benutzeraktion muss mit gleichem Aufwand validiert werden. Der Schwerpunkt liegt auf kritischen Aufgaben (Critical Tasks), bei denen Anwendungsfehler direkt oder indirekt zu Schäden führen können. Die Identifikation dieser Aufgaben erfolgt üblicherweise über die Nutzungsrisikoanalyse und die Verknüpfung mit den Hazard-related Use Scenarios. Die Validierungsaufgaben müssen diese Szenarien gezielt abdecken und nachweisen, dass die vorhandenen Risikokontrollmaßnahmen wirksam sind.
Durchführung summativer Studien
Die Validierung wird typischerweise als beobachtungsbasierte Studie durchgeführt. Die Teilnehmer bearbeiten vorgegebene Aufgaben eigenständig und ohne Unterstützung des Moderators. Beobachtet werden insbesondere Anwendungsfehler, Beinahe-Fehler, Nutzungsschwierigkeiten und kritische Verhaltensmuster. Zusätzlich werden häufig Interviews und Debriefings eingesetzt, um Ursachen möglicher Fehler zu verstehen – die eigentliche Bewertungsgrundlage bleibt jedoch das beobachtbare Verhalten der Nutzer und nicht deren subjektive Meinung.
Typische Fehler in der Praxis
Ein häufiger Fehler besteht darin, die Validierung als explorative Studie zu verwenden und noch größere Designänderungen nach der Durchführung vorzunehmen – dies untergräbt den Charakter des Validierungsnachweises. Weitere Schwächen sind nicht repräsentative Probanden, unvollständige Abdeckung kritischer Aufgaben, fehlende Ableitung aus der Nutzungsrisikoanalyse, künstliche Nutzungsszenarien, Bewertung ausschließlich anhand von Zufriedenheitswerten sowie unzureichende Analyse beobachteter Use Errors.
Regulatorischer Bezug
IEC 62366-1 fordert einen Usability-Engineering-Prozess zur Analyse, Spezifikation, Entwicklung und Bewertung der Gebrauchstauglichkeit im Zusammenhang mit Sicherheit; die Evaluierung der Benutzungsschnittstelle beinhaltet auch den Nachweis, dass risikorelevante Nutzungsszenarien angemessen beherrscht werden. Nutzergruppen, Nutzungskontexte und Nutzungseigenschaften müssen dabei vor einer aussagekräftigen Validierung spezifiziert sein. Die FDA fordert in ihrer Human-Factors-Guidance eine Human Factors Validation für Produkte, bei denen Anwendungsfehler zu schwerwiegenden Schäden führen können oder Human-Factors-Daten Bestandteil der Premarket Submission sind. Nach ISO 14971 muss die Wirksamkeit von risikobezogenen Maßnahmen bewertet werden; für nutzungsbedingte Risiken kann die Usability-Validierung Teil dieses Wirksamkeitsnachweises sein. Die EU-MDR verlangt die Berücksichtigung von Risiken aus ergonomischen Merkmalen, Anwendungsbedingungen und Nutzercharakteristika – die Usability-Validierung wird typischerweise als Nachweis für die Beherrschung solcher Risiken herangezogen.
Häufige Fragen (FAQ)
Ist eine Validierung dasselbe wie eine summative Evaluation?
Im regulatorischen Umfeld der Medizinprodukte werden beide Begriffe häufig synonym verwendet. Die FDA spricht meist von „Human Factors Validation", während IEC 62366-1 häufig den Begriff „Summative Evaluation" verwendet.
Kann eine Validierung mit internen Mitarbeitern durchgeführt werden?
Nur wenn diese die vorgesehenen Nutzergruppen glaubwürdig repräsentieren und keine relevanten Vorkenntnisse besitzen. In den meisten Fällen sind externe repräsentative Anwender vorzuziehen.
Wie viele Probanden werden benötigt?
IEC 62366-1 macht keine feste Vorgabe. Die Teilnehmerzahl muss risikobasiert begründet werden. Die FDA verweist häufig auf Ansätze mit etwa 15 Teilnehmern pro wesentlicher Nutzergruppe, sofern ein formaler Human-Factors-Validierungsnachweis erforderlich ist.
Darf nach einer fehlgeschlagenen Validierung noch am Design geändert werden?
Ja. Wesentliche Änderungen an der Benutzungsschnittstelle machen jedoch in der Regel eine erneute Validierung oder zumindest eine belastbare Begründung erforderlich, warum der bestehende Nachweis weiterhin gültig bleibt.
Validierung ist der Nachweis am fertigen Produkt, nicht die Suche nach Problemen – wer sie als explorative Studie mit anschließenden Designänderungen führt, untergräbt ihren Beweischarakter. Ohne vorherige formative Iterationen wird eine Validierung regulatorisch schwer begründbar.
Sie möchten die Validierung Ihres Medizinprodukts nach IEC 62366-1 und FDA-Anforderungen sauber vorbereiten und durchführen? Wir unterstützen Sie bei der summativen Usability Evaluation.
Mehr zu unserem Usability Engineering