Validierung bezeichnet den objektiven Nachweis, dass ein Medizinprodukt die Anforderungen der vorgesehenen Anwendung und die Bedürfnisse der vorgesehenen Benutzer erfüllt.
Im Usability Engineering bezieht sich die Validierung insbesondere auf den Nachweis, dass die finale Benutzungsschnittstelle durch die vorgesehenen Benutzer unter repräsentativen Nutzungsbedingungen sicher verwendet werden kann.
Innerhalb der IEC 62366-1 wird dieser Nachweis als summative Evaluation bezeichnet. Die FDA verwendet dafür den Begriff Human Factors Validation Testing und betrachtet dabei die sichere und effektive Verwendung des Produkts.
Design Validation, summative Evaluation und Human Factors Validation sind eng miteinander verbunden, aber nicht vollständig gleichbedeutend. Die Design Validation nach ISO 13485 betrachtet das Medizinprodukt insgesamt, während die summative Evaluation nach IEC 62366-1 gezielt die sichere Nutzung der Benutzungsschnittstelle bewertet.
Rolle der Validierung im Usability-Engineering-Prozess
Die Validierung steht am Ende des Design- und Entwicklungsprozesses beziehungsweise am Ende der Entwicklung der Benutzungsschnittstelle. Sie baut insbesondere auf folgenden Ergebnissen auf:
- Anwendungsspezifikation
- Benutzerprofile
- Nutzungskontextanalyse
- Aufgabenanalyse
- Nutzungsrisikoanalyse
- Hazard-related Use Scenarios
- User Interface Specification
- formative Evaluationen
- Verifizierung der Benutzungsschnittstelle
Die Validierung dient nicht primär dazu, neue Designlösungen zu entwickeln oder die Benutzungsschnittstelle iterativ zu optimieren. Ihr Ziel ist es, objektive Nachweise über die Eignung des resultierenden Produkts beziehungsweise die sichere Verwendung der finalen Benutzungsschnittstelle zu gewinnen.
Das bedeutet jedoch nicht, dass während der Validierung keine bislang unbekannten Anwendungsprobleme auftreten dürfen. Beobachtete Anwendungsfehler, Close Calls und Use Difficulties müssen systematisch untersucht, hinsichtlich ihrer Ursachen analysiert und in Bezug auf die daraus entstehenden Risiken bewertet werden.
Eine Validierung ohne ausreichende vorausgehende Analyse und formative Evaluation erhöht das Risiko, dass grundlegende Schwächen erst am Ende der Entwicklung erkannt werden. Werden anschließend Designänderungen erforderlich, müssen deren Auswirkungen auf Verifizierung, Validierung und Risikomanagement bewertet werden.
Abgrenzung zu Verifizierung und formativer Evaluation
Validierung, Verifizierung und formative Evaluation verfolgen unterschiedliche Ziele. Verifizierung fragt: Erfüllen die Design Outputs die festgelegten Design Inputs? Validierung fragt: Erfüllt das resultierende Medizinprodukt die Anforderungen der vorgesehenen Anwendung und die Bedürfnisse der vorgesehenen Benutzer? Formative Evaluation fragt: Welche Stärken, Schwächen und bislang nicht erkannten Anwendungsprobleme weist die Benutzungsschnittstelle auf und wie kann sie verbessert werden?
Die Unterscheidung hängt nicht allein von der eingesetzten Methode ab. Ein Usability-Test kann sowohl formativ als auch summativ eingesetzt werden. Entscheidend sind: das Ziel der Untersuchung, der Entwicklungsstand des Produkts, die Auswahl der Aufgaben und Szenarien, die Repräsentativität der Benutzer und Nutzungsbedingungen sowie die Rolle der Ergebnisse im Entwicklungsprozess.
Formative Evaluationen können mit frühen Prototypen, Teilfunktionen oder alternativen Designvarianten durchgeführt werden. Änderungen und Wiederholungen gehören ausdrücklich zu ihrer Funktion. Die summative Evaluation erfolgt dagegen am Ende der Entwicklung der Benutzungsschnittstelle. Der Prüfgegenstand muss final oder ausreichend repräsentativ für das vorgesehene Serienprodukt sein.
Eine technische Verifizierung einzelner Anforderungen ersetzt keine Validierung. Umgekehrt ersetzt eine summative Evaluation nicht die erforderliche Verifizierung technischer und funktionaler Anforderungen.
Repräsentative Benutzer und Nutzungskontexte
Die Teilnehmer einer summativen Evaluation müssen die vorgesehenen Benutzergruppen angemessen repräsentieren. Relevante Merkmale können beispielsweise sein: berufliche Qualifikation, Ausbildung und Fachwissen, Produkterfahrung, Erfahrung mit vergleichbaren Produkten, Alter, körperliche Fähigkeiten, sensorische Fähigkeiten, kognitive Voraussetzungen, Sprachkenntnisse und Gesundheitskompetenz, medizinische Einschränkungen sowie Rolle und Verantwortlichkeiten im Arbeitsablauf.
Unterschiedliche Benutzergruppen dürfen nicht allein deshalb zusammengefasst werden, weil sie dieselben Funktionen des Produkts verwenden. Entscheidend ist, ob sich ihre Fähigkeiten, Erfahrungen, Aufgaben oder Nutzungskontexte so unterscheiden, dass daraus unterschiedliche Anwendungsprobleme oder Risiken entstehen können.
Auch die Nutzungsumgebung muss angemessen repräsentativ sein. Dazu können gehören: Beleuchtung, Geräuschpegel, Platzverhältnisse, Schutzkleidung oder Handschuhe, Unterbrechungen und Ablenkungen, Zeitdruck, Arbeitsbelastung, Notfallsituationen, Mobilität, parallele Aufgaben sowie Zusammenarbeit mit anderen Personen. Die Nutzung muss nicht zwingend in der realen Umgebung stattfinden. Auch eine simulierte Nutzungsumgebung kann geeignet sein, wenn die für die sichere Verwendung relevanten Bedingungen realistisch reproduziert werden.
Wurde eine verpflichtende Schulung als Bestandteil der vorgesehenen Nutzung festgelegt, muss diese auch in der Validierung angemessen berücksichtigt werden. Umfang, Format und Zeitpunkt der Schulung sowie ein gegebenenfalls notwendiger Zeitraum zwischen Schulung und Anwendung sollten den realen Bedingungen entsprechen.
Kritische Aufgaben und risikobasierte Szenarien
Die Auswahl der zu untersuchenden Aufgaben und Szenarien erfolgt risikobasiert. Die IEC 62366-1 verwendet hierfür insbesondere Hazard-related Use Scenarios – Nutzungsszenarien, die zu einer Gefährdungssituation oder zu einem Schaden führen können. Die FDA verwendet den Begriff Critical Task: eine Benutzeraufgabe, deren fehlerhafte oder unterlassene Ausführung zu einem schwerwiegenden Schaden führen kann oder die medizinische Versorgung gefährden könnte.
Die beiden Konzepte überschneiden sich, sind aber nicht vollständig identisch. Deshalb sollte in einer globalen Human-Factors-Strategie nachvollziehbar dokumentiert werden, wie Hazard-related Use Scenarios und Critical Tasks identifiziert, miteinander abgeglichen und in der Validierung berücksichtigt wurden. Die aktuelle FDA-Guidance führt Critical Task Identification ausdrücklich als Bestandteil der vorbereitenden Analyse auf. In die Auswahl können insbesondere einfließen:
- möglicher Schweregrad eines Schadens
- bekannte oder vorhersehbare Anwendungsfehler
- Ergebnisse der Nutzungsrisikoanalyse
- Erfahrungen mit vergleichbaren Produkten
- Beschwerden und Marktbeobachtungsdaten
- Erkenntnisse aus formativen Evaluationen
- Komplexität der Aufgabe
- Abhängigkeit von Wahrnehmung, Gedächtnis oder manuellen Fähigkeiten
- Wirksamkeit der vorgesehenen Risikobeherrschungsmaßnahmen
Nicht jede einzelne Bedienhandlung muss mit demselben Umfang untersucht werden. Die Auswahl und gegebenenfalls Gruppierung von Szenarien muss jedoch nachvollziehbar begründet werden. Interaktionen mit Gebrauchsanweisung, Kennzeichnung, Quick Reference Guide und Schulungsmaterialien müssen einbezogen werden, wenn diese Informationen für die sichere Verwendung oder als Risikobeherrschungsmaßnahme erforderlich sind.
Durchführung summativer Studien
Eine häufig verwendete Methode ist ein Usability-Test unter simulierten Nutzungsbedingungen. Ein belastbarer Validierungsplan sollte insbesondere beschreiben:
- Ziel und regulatorische Funktion der Evaluation
- zu untersuchendes Produkt und Softwareversion
- Repräsentativität des Prüfgegenstands
- vorgesehene Benutzergruppen
- Ein- und Ausschlusskriterien
- Anzahl der Teilnehmer und Begründung
- vorgesehene Nutzungsumgebungen
- untersuchte Aufgaben und Szenarien
- bereitgestellte Schulungen und Begleitmaterialien
- Moderations- und Beobachtungsmethode
- Datenerfassung
- Umgang mit Hilfestellungen
- Kriterien zur Klassifikation beobachteter Ereignisse
- Verfahren zur Ursachenanalyse
- Verbindung zur Nutzungsrisikoanalyse
Der Test sollte so gestaltet sein, dass die Teilnehmer selbstständig handeln können. Unbeabsichtigte Hinweise durch Moderation, Aufgabenformulierungen, Raumgestaltung oder die Reihenfolge der Szenarien müssen möglichst vermieden werden. Zu erfassen sind insbesondere: erfolgreiche und nicht erfolgreiche Aufgabenausführungen, Use Errors, Close Calls, Use Difficulties, Nutzungsmuster und Abweichungen, benötigte Hilfestellungen, Verständnis sicherheitsrelevanter Informationen sowie Aussagen aus der anschließenden Ursachenanalyse.
Beobachtungsergebnisse sollten nicht allein anhand der Aussage „Aufgabe bestanden" oder „Aufgabe nicht bestanden" bewertet werden. Auch eine formal erfolgreich abgeschlossene Aufgabe kann eine sicherheitsrelevante Schwierigkeit enthalten, beispielsweise wenn der Benutzer nur zufällig richtig handelt oder kurz vor einem kritischen Fehler steht.
Ebenso bedeutet ein beobachteter Anwendungsfehler nicht automatisch, dass die gesamte Validierung „fehlgeschlagen" ist. Jeder relevante Anwendungsfehler, Close Call und jede Use Difficulty muss analysiert werden. Dabei ist zu bewerten: warum das Ereignis auftrat, ob das Interface oder der Nutzungskontext dazu beitrug, welche möglichen Schäden entstehen können, ob das Risiko akzeptabel ist und ob zusätzliche Risikobeherrschungsmaßnahmen erforderlich sind. Die summative Evaluation ist damit keine rein statistische Bestehensprüfung. Ihr Ergebnis basiert auf der Kombination aus Beobachtungsdaten, Ursachenanalyse und Risikobewertung.
Typische Fehler in der Praxis
Ein häufiger Fehler besteht darin, die Validierung als gewöhnlichen Usability-Test mit einer großen Anzahl von Teilnehmern zu verstehen. Weitere typische Schwächen sind:
- unzureichend definierte Benutzergruppen
- nicht repräsentative Teilnehmer
- künstliche oder zu stark vereinfachte Nutzungssituationen
- nicht repräsentativer Produktstand
- fehlende Berücksichtigung von Zubehör und Begleitmaterialien
- unvollständige Auswahl kritischer Aufgaben oder Hazard-related Use Scenarios
- fehlende Traceability zur Nutzungsrisikoanalyse
- suggestive Aufgabenstellungen
- unzulässige Hilfestellungen durch die Moderation
- unrealistische Schulungsbedingungen
- unzureichende Berücksichtigung von Lern- und Erinnerungseffekten
- fehlende Definition von Use Error, Close Call und Use Difficulty
- ausschließliche Auswertung anhand von Erfolgsquoten
- nachträgliche Festlegung von Akzeptanzkriterien
- oberflächliche Ursachenanalyse
- vorschnelle Einstufung eines Ereignisses als „User Error"
- unzureichende Risikobewertung beobachteter Probleme
- Designänderungen nach der Validierung ohne angemessene Impact Analysis
Problematisch ist insbesondere die Verwendung einer pauschalen Fehlerquote als Bestehensgrenze. Eine niedrige Fehlerquote kann regulatorisch nicht ausreichend sein, wenn der beobachtete Fehler zu einem schwerwiegenden Schaden führen kann. Umgekehrt muss ein einzelner Fehler nicht automatisch zur vollständigen Wiederholung der Studie führen. Entscheidend sind Ursache, Schadenspotenzial, Risikobewertung und die daraus abgeleiteten Maßnahmen. Auch subjektive Bewertungen wie Zufriedenheit oder wahrgenommene Einfachheit können ergänzend erfasst werden. Sie ersetzen jedoch keine objektive Beobachtung der sicheren Aufgabenausführung.
Regulatorischer Bezug
Die ISO 13485:2016 behandelt die Design- und Entwicklungsvalidierung in Abschnitt 7.3.7. Die Validierung muss nach geplanten und dokumentierten Vorgaben durchgeführt werden und nachweisen, dass das resultierende Produkt die Anforderungen der vorgesehenen Anwendung erfüllt. Soweit praktikabel, muss die Validierung vor Freigabe beziehungsweise Auslieferung des Produkts abgeschlossen sein. Sie erfolgt an repräsentativen Produkten und muss gegebenenfalls auch Softwarevalidierung und klinische Bewertung beziehungsweise Leistungsbewertung berücksichtigen.
Die Design Validation nach ISO 13485 ist damit umfassender als eine summative Evaluation der Benutzungsschnittstelle. Die Human Factors Validation kann einen wichtigen Bestandteil der Design Validation bilden, ersetzt aber nicht automatisch alle weiteren Validierungsaktivitäten.
Die IEC 62366-1 beschreibt die summative Evaluation als Evaluation am Ende der Entwicklung der Benutzungsschnittstelle mit dem Ziel, objektive Nachweise zu gewinnen, dass die Benutzungsschnittstelle sicher verwendet werden kann. Im Mittelpunkt stehen dabei die ausgewählten Hazard-related Use Scenarios und die Wirksamkeit der nutzungsbezogenen Risikobeherrschungsmaßnahmen. Die summative Evaluation bezieht sich damit auf die Validierung der sicheren Verwendung der Benutzungsschnittstelle.
Die FDA verwendet den Begriff Human Factors Validation Testing. Sie erwartet eine Untersuchung der finalen Benutzungsschnittstelle mit repräsentativen Benutzern unter tatsächlichen oder angemessen simulierten Nutzungsbedingungen. Die FDA empfiehlt grundsätzlich mindestens 15 Teilnehmer je unterschiedlicher Benutzerpopulation. Diese Zahl ist jedoch keine allgemeine Vorgabe der IEC 62366-1 und darf nicht unkritisch auf jede Benutzergruppe im europäischen Kontext übertragen werden. Methoden und Stichprobengrößen müssen insgesamt zum Produkt, zum Risiko und zur regulatorischen Zielsetzung passen.
Seit dem 2. Februar 2026 gilt für den US-amerikanischen Markt die Quality Management System Regulation (QMSR). Die QMSR bindet ISO 13485:2016 in 21 CFR Part 820 ein. Die Design-and-Development-Anforderungen ergeben sich insbesondere aus 21 CFR 820.10(c) in Verbindung mit ISO 13485, Abschnitt 7.3. Frühere Verweise auf 21 CFR 820.30(g) als eigenständige aktuelle FDA-Anforderung an Design Validation entsprechen deshalb nicht mehr der heutigen regulatorischen Struktur.
Die grundlegenden Erwartungen der FDA-Guidance „Applying Human Factors and Usability Engineering to Medical Devices" an die Identifikation kritischer Aufgaben, die Risikobeherrschung durch Gestaltung und die Human Factors Validation bleiben bestehen.
Häufige Fragen (FAQ)
Sind Validierung und summative Evaluation dasselbe?
Nicht vollständig. Die Design Validation nach ISO 13485 betrachtet, ob das resultierende Medizinprodukt die Anforderungen der vorgesehenen Anwendung erfüllt. Die summative Evaluation nach IEC 62366-1 konzentriert sich auf den objektiven Nachweis, dass die sicherheitsrelevante Benutzungsschnittstelle sicher verwendet werden kann. Die summative Evaluation kann deshalb ein wesentlicher Bestandteil der Design Validation sein.
Ist eine Human Factors Validation dasselbe wie eine summative Evaluation?
Beide Konzepte verfolgen ein vergleichbares Ziel und werden in der Praxis häufig gleichgesetzt. Die FDA verwendet den Begriff Human Factors Validation und fokussiert auf Critical Tasks sowie die sichere und effektive Nutzung durch vorgesehene Benutzer. Die IEC 62366-1 verwendet den Begriff summative Evaluation und betrachtet Hazard-related Use Scenarios sowie die sichere Verwendung der Benutzungsschnittstelle. Für globale Zulassungen sollten die jeweiligen Anforderungen getrennt analysiert und in einer gemeinsamen Studienstrategie berücksichtigt werden.
Muss eine Validierung immer mit Benutzern durchgeführt werden?
Nicht jede Design Validation erfordert zwingend eine Usability-Studie. Für die summative Evaluation einer Benutzungsschnittstelle ist eine Prüfung mit repräsentativen Benutzern unter repräsentativen Bedingungen häufig die geeignete Methode. Hersteller müssen eine geeignete Methode auswählen und begründen, mit der objektive Nachweise über die sichere Verwendung gewonnen werden können.
Wie viele Teilnehmer werden benötigt?
Die IEC 62366-1 legt keine feste Mindestanzahl an Teilnehmern fest. Die Stichprobengröße muss zur Methode, zu den Benutzergruppen, Aufgaben und Risiken passen und nachvollziehbar begründet werden. Die FDA empfiehlt für Human Factors Validation Tests grundsätzlich mindestens 15 repräsentative Teilnehmer je unterschiedlicher Benutzerpopulation – diese Empfehlung sollte jedoch nicht als universelle statistische Regel verstanden werden.
Darf während der Validierung geholfen werden?
Ungeplante Hilfestellungen können die Aussagekraft der Validierung beeinträchtigen. Wenn ein Moderator eingreift, muss dokumentiert werden, warum die Hilfestellung erforderlich war, welche Information gegeben wurde, wie sich die Hilfestellung auf die Aufgabenausführung auswirkte und wie das Ereignis klassifiziert und bewertet wurde. Vorgesehene Hilfsangebote des Produkts dürfen nur dann berücksichtigt werden, wenn sie Bestandteil der realen vorgesehenen Nutzung sind.
Führt jeder Anwendungsfehler zum Nichtbestehen der Validierung?
Nein. Es gibt nicht zwangsläufig ein einfaches Bestehens- oder Nichtbestehensschema. Jeder beobachtete Anwendungsfehler muss hinsichtlich seiner Ursache und seiner möglichen Auswirkungen analysiert werden. Anschließend ist zu bewerten, ob das daraus entstehende Risiko akzeptabel ist oder zusätzliche Maßnahmen notwendig sind.
Was passiert, wenn nach der Validierung eine Designänderung erfolgt?
Jede Änderung muss auf ihre Auswirkungen auf Benutzungsschnittstelle, Benutzeraufgaben, Nutzungsrisiken, Verifizierung und Validierung bewertet werden. Abhängig von Umfang und sicherheitsbezogener Bedeutung können eine dokumentierte Impact Analysis, eine Aktualisierung der Nutzungsrisikoanalyse, zusätzliche Verifizierung, formative Evaluation, eine teilweise Wiederholung der summativen Evaluation oder eine vollständige erneute Validierung erforderlich sein.
Validierung weist nach, dass das resultierende Medizinprodukt die Anforderungen der vorgesehenen Anwendung und die Bedürfnisse der vorgesehenen Benutzer erfüllt. Im Usability Engineering wird die sichere Verwendung der finalen Benutzungsschnittstelle durch eine summative Evaluation beziehungsweise Human Factors Validation untersucht.
Dabei gilt: repräsentative Benutzer + finale Benutzungsschnittstelle + repräsentative Nutzungskontexte + risikobasierte Szenarien. Die Validierung ist keine reine Fehlerzählung. Entscheidend sind die systematische Beobachtung, die Ursachenanalyse und die Bewertung, ob die verbleibenden nutzungsbezogenen Risiken akzeptabel sind.
Sie möchten Ihre summative Evaluation beziehungsweise Human Factors Validation regulatorisch belastbar planen und durchführen? Wir unterstützen Sie von der Studienplanung und Rekrutierung über die Durchführung bis zur Ursachenanalyse und Dokumentation nach IEC 62366-1 und FDA-Anforderungen.
Mehr zu unserem Usability Engineering