Die Human-Factors-Validierung (engl. Human Factors Validation Testing) ist der in der FDA Human Factors Guidance beschriebene Test am Ende der Produktentwicklung. Er soll zeigen, dass die vorgesehenen Benutzer ein Medizinprodukt unter den erwarteten Nutzungsbedingungen ohne schwerwiegende Anwendungsfehler verwenden können. Die FDA ordnet ihn als Teil der Design Validation ein.
Einordnung und Zweck
Human Factors Validation Testing ist ein Begriff der US-amerikanischen Zulassungsbehörde FDA. In ihrer FDA Human Factors Guidance („Applying Human Factors and Usability Engineering to Medical Devices“, Fassung vom August 2026) definiert sie ihn als Test am Ende der Produktentwicklung. Er bewertet die Interaktion der Benutzer mit der Benutzungsschnittstelle, um Anwendungsfehler zu erkennen, die zu einem schwerwiegenden Schaden für Patient oder Benutzer führen oder führen könnten. Zugleich dient er dazu, die Wirksamkeit von Risikokontrollmaßnahmen zu beurteilen.
Nach der Guidance soll der Test zeigen, dass das Produkt von den vorgesehenen Benutzern, für die vorgesehenen Zwecke und unter den erwarteten Nutzungsbedingungen ohne schwerwiegende Anwendungsfehler oder Probleme verwendet werden kann. Er soll umfassend angelegt sein, Anwendungsfehler erfassen, die auf die Gestaltung der Benutzungsschnittstelle zurückgehen, und so durchgeführt werden, dass sich die Ergebnisse auf die tatsächliche Nutzung übertragen lassen.
Die FDA ordnet die Human-Factors-Validierung als einen Teil der Design Validation ein (siehe auch Validierung). Die Guidance selbst enthält nicht bindende Empfehlungen. In der Praxis misst die FDA Einreichungen jedoch an diesen Erwartungen.
Abgrenzung zur summativen Evaluation nach IEC 62366-1
In Zweck und Stellung im Prozess entspricht die Human-Factors-Validierung der summativen Evaluation nach IEC 62366-1. Gleichsetzen sollte man beide Begriffe nicht. Die FDA weist in ihrer Guidance selbst darauf hin: Human Factors Validation Testing werde mitunter als „summative testing“ bezeichnet, summative Tests könnten aber unterschiedlich definiert sein, und manche Definitionen ließen wesentliche Bestandteile der Human-Factors-Validierung aus.
In der Praxis fallen vor allem diese Unterschiede ins Gewicht:
- Umfang: Die FDA erwartet, dass alle kritischen Aufgaben (Critical Tasks) im Test ausgeführt werden. Die IEC 62366-1 arbeitet mit einer begründeten Auswahl gefährdungsbezogener Nutzungsszenarien.
- Teilnehmerzahl: Die FDA nennt als Regel mindestens 15 Teilnehmer je unterscheidbarer Benutzergruppe. Die IEC 62366-1 nennt keine Mindestzahl.
- Wohnsitz der Teilnehmer: Für den Nachweis gegenüber der FDA sollen die Teilnehmer in den USA leben.
- Dokumentation: Für eine Einreichung in den USA werden die Ergebnisse im HFE/UE Report zusammengefasst.
| FDA: Human-Factors-Validierung | IEC 62366-1: summative Evaluation | |
|---|---|---|
| Umfang | Alle kritischen Aufgaben (Critical Tasks) werden im Test ausgeführt | Begründete Auswahl gefährdungsbezogener Nutzungsszenarien |
| Teilnehmerzahl | Als Regel mindestens 15 Teilnehmer je unterscheidbarer Benutzergruppe | Keine Mindestzahl genannt |
Eine summative Evaluation nach IEC 62366-1 erfüllt die Erwartungen der FDA deshalb nicht automatisch. Wer beide Märkte mit einer Studie abdecken will, berücksichtigt diese Punkte bereits in der Planung.
Anforderungen an das Studiendesign
Die Guidance nennt vier Grundanforderungen:
- Die Teilnehmer repräsentieren die vorgesehenen Benutzer des Produkts.
- Alle kritischen Aufgaben werden im Test ausgeführt.
- Die Benutzungsschnittstelle entspricht dem finalen Design.
- Die Testbedingungen sind realistisch genug, um die tatsächlichen Nutzungsbedingungen abzubilden.
In der Regel findet der Test unter simulierten Nutzungsbedingungen statt (Simulated Use). Umgebungsfaktoren, die die Interaktion mit dem Produkt beeinflussen können, gehören in die Simulation. Die Guidance nennt als Beispiele gedämpftes Licht, mehrere gleichzeitige Alarme, Ablenkungen und Multitasking.
Die Teilnehmer sollen das Produkt so selbstständig und natürlich wie möglich verwenden, ohne Einfluss durch die Testleitung. Die Think-Aloud-Methode ist in der Human-Factors-Validierung nach der Guidance nicht akzeptabel, weil lautes Denken das tatsächliche Nutzungsverhalten nicht widerspiegelt.
Aufgaben, die bei der Nutzung logisch aufeinander folgen, werden zu Nutzungsszenarien zusammengefasst und im Testplan (Test Protocol) beschrieben. Vor dem Test ist für jede Aufgabe festzulegen, welche Leistung als Erfolg gilt. Zeitmessungen sind nur sinnvoll, wenn die Geschwindigkeit der Nutzung klinisch relevant ist. Die FDA ermutigt Hersteller, den Entwurf des Testplans vor der Durchführung über eine Pre-Submission zur Rückmeldung einzureichen.
Reicht eine Simulation nicht aus, um die Interaktion mit dem Produkt zu beurteilen, können Daten auch unter tatsächlichen Nutzungsbedingungen (Actual Use) oder im Rahmen einer klinischen Studie erhoben werden.
Teilnehmer und Benutzergruppen
Wichtigstes Kriterium ist, dass die Teilnehmer die vorgesehenen Benutzer repräsentieren (siehe repräsentative Benutzer). Hersteller legen die Teilnehmerzahl selbst fest. Als Regel nennt die Guidance mindestens 15 Teilnehmer, für bestimmte Produkttypen kann die empfohlene Mindestzahl höher liegen.
Hat ein Produkt mehrere unterscheidbare Benutzergruppen, sollen aus jeder Gruppe mindestens 15 Teilnehmer vertreten sein. Als unterscheidbar gelten Gruppen, wenn ihre Merkmale die Interaktion mit dem Produkt voraussichtlich beeinflussen oder wenn sie unterschiedliche Aufgaben am Produkt ausführen. Beispiele der Guidance sind verschiedene Altersgruppen, medizinisches Fachpersonal und Laien sowie unterschiedliche Rollen wie Installation oder Wartung.
Innerhalb einer Gruppe sollen die Teilnehmer die Bandbreite der relevanten Merkmale abbilden. Ist ein Produkt für Patienten bestimmt, deren Erkrankung funktionelle Einschränkungen verursachen kann, gehören Personen mit solchen Einschränkungen in die Stichprobe.
Zwei weitere Vorgaben betreffen die Auswahl. Mitarbeiter des Herstellers sollen nicht als Teilnehmer eingesetzt werden, von seltenen Ausnahmen abgesehen. Außerdem sollen die Teilnehmer in den USA leben, weil klinische Praxis, Maßeinheiten und Sprache in anderen Ländern die Ergebnisse beeinflussen können. Ausnahmen prüft die FDA im Einzelfall auf Grundlage einer fundierten Begründung.
Kennzeichnung, Gebrauchsanweisung und Training
Die Kennzeichnung muss im Test dem finalen Stand entsprechen. Das gilt für Beschriftungen am Produkt und am Zubehör, Informationen auf dem Display, Verpackung, Gebrauchsanweisung, Handbücher, Beipackzettel und Kurzanleitungen. Steht die Kennzeichnung den Benutzern in der realen Nutzung zur Verfügung, soll sie auch im Test verfügbar sein. Die Teilnehmer entscheiden aber selbst, ob sie sie nutzen.
Das Training im Test soll dem Training entsprechen, das reale Benutzer erhalten. Werden die meisten Benutzer in der Praxis kaum oder gar nicht geschult, sollen auch die Teilnehmer nicht geschult werden. Weil Gelerntes mit der Zeit verblasst (Training Decay), soll der Test nicht unmittelbar auf das Training folgen. Je nach Produkt kann eine Pause von einer Stunde genügen, in anderen Fällen ist ein Abstand von einem oder mehreren Tagen angemessen.
Treten im Test Anwendungsfehler bei kritischen Aufgaben auf, akzeptiert die FDA den Verweis auf eine geänderte Gebrauchsanweisung oder auf zusätzliches Training nicht ohne Weiteres. Erforderlich sind zusätzliche Daten, die belegen, dass die Änderung das Risiko wirksam auf ein vertretbares Maß senkt.
Datenerhebung
Der Testplan legt fest, welche Daten erhoben werden. Die Guidance unterscheidet drei Quellen:
- Beobachtungsdaten: Ob eine kritische Aufgabe erfolgreich ausgeführt wurde, wird durch Beobachtung erfasst und nicht allein aus der Einschätzung der Teilnehmer abgeleitet. Festgehalten werden Anwendungsfehler, Close Calls sowie Auffälligkeiten wie wiederholte Versuche oder erkennbare Verwirrung.
- Wissensaufgaben (Knowledge Tasks): Manche kritischen Aufgaben hängen vom Verständnis von Informationen ab, etwa von Kontraindikationen und Warnhinweisen. Dieses Wissen wird mit offenen, neutral formulierten Fragen geprüft.
- Interviewdaten: Nach Abschluss der Nutzungsszenarien folgt ein Interview. Es ergänzt die Beobachtung, ersetzt sie aber nicht. Jeder beobachtete Anwendungsfehler wird dort mit dem Teilnehmer besprochen, um zu klären, wie und warum er aus dessen Sicht entstanden ist.
Ein Close Call liegt nach der Guidance vor, wenn ein Benutzer eine Schwierigkeit hat oder einen Anwendungsfehler begeht, der zu einem Schaden führen könnte, den Schaden aber durch eigenes Eingreifen verhindert.
Auswertung und Restrisiko
Die Ergebnisse werden qualitativ ausgewertet. Beobachtungsdaten, Wissensaufgaben und Interviewdaten werden zusammengeführt, um für alle Anwendungsfehler und Probleme, also auch für Close Calls und Use Difficulties, die Ursache zu bestimmen (siehe Ursachenanalyse). Die Ursachen werden anschließend im Zusammenhang mit den zugehörigen Risiken bewertet, um das Schadenspotenzial einzuschätzen und weitere Risikokontrollmaßnahmen zu priorisieren.
Führen die Ergebnisse zu Änderungen an der Benutzungsschnittstelle, kann eine erneute Validierung nötig sein. Betreffen die Änderungen nur einzelne Aspekte der Nutzung, kann sich der erneute Test auf diese beschränken.
Ein vollständig risikofreies Produkt gibt es nicht, ein Restrisiko bleibt (siehe Risikomanagement). Bestehen schwerwiegende Anwendungsfehler fort, akzeptiert die FDA das in einer Einreichung nur, wenn die Ergebnisse gründlich analysiert sind und die Einreichung zeigt, dass eine weitere Verringerung nicht möglich oder nicht praktikabel ist und der Nutzen des Produkts die Restrisiken überwiegt. Die Ankündigung, erkannte Gestaltungsmängel erst in einer späteren Produktversion zu beheben, akzeptiert die FDA nicht.
Dokumentation
Die Ergebnisse der Human-Factors-Validierung gehören zur Human-Factors-Dokumentation einer Einreichung und werden im HFE/UE Report zusammengefasst. Welche Human-Factors-Informationen eine Einreichung enthalten soll, beschreibt die FDA in der Guidance „Content of Human Factors Information in Medical Device Marketing Submissions“.
Wie Planung, Durchführung und Auswertung im Detail aussehen, beschreibt unser Fachartikel „Wie führt man Human Factors Validation Tests im Einklang mit FDA Anforderungen durch?“.
Die Human-Factors-Validierung ist der von der FDA erwartete Test am Ende der Entwicklung. Er soll zeigen, dass die vorgesehenen Benutzer das Produkt unter realistischen Bedingungen ohne schwerwiegende Anwendungsfehler verwenden können.
Mit der summativen Evaluation nach IEC 62366-1 ist sie eng verwandt, aber nicht deckungsgleich: Alle kritischen Aufgaben müssen geprüft werden, in der Regel mit mindestens 15 in den USA lebenden Teilnehmern je Benutzergruppe.
Häufige Fragen (FAQ)
Ist Human Factors Validation Testing dasselbe wie eine summative Evaluation?
Nein. Beide stehen am Ende der Entwicklung und verfolgen einen vergleichbaren Zweck. Die FDA weist aber selbst darauf hin, dass summative Tests unterschiedlich definiert sein können und manche Definitionen wesentliche Bestandteile der Human-Factors-Validierung auslassen. Unterschiede bestehen vor allem beim Umfang der geprüften Aufgaben, bei der Teilnehmerzahl und beim Wohnsitz der Teilnehmer.
Wie viele Teilnehmer erwartet die FDA?
Hersteller legen die Zahl selbst fest. Als Regel nennt die Guidance mindestens 15 Teilnehmer und bei mehreren unterscheidbaren Benutzergruppen mindestens 15 je Gruppe. Für bestimmte Produkttypen kann die empfohlene Mindestzahl höher liegen.
Müssen die Teilnehmer in den USA leben?
Grundsätzlich ja. Die FDA begründet das mit Unterschieden in klinischer Praxis, Maßeinheiten und Sprache, die die Ergebnisse beeinflussen können. Ausnahmen prüft sie im Einzelfall auf Grundlage einer fundierten Begründung.
Ist lautes Denken in der Human-Factors-Validierung erlaubt?
Nein. Die Guidance bezeichnet die Think-Aloud-Methode in der Validierung als nicht akzeptabel, weil sie das tatsächliche Nutzungsverhalten nicht widerspiegelt. In formativen Evaluationen kann sie dagegen nützlich sein.
Was gilt, wenn im Test Anwendungsfehler bei kritischen Aufgaben auftreten?
Jeder Fehler wird auf seine Ursache hin analysiert und im Zusammenhang mit dem zugehörigen Risiko bewertet. Eine geänderte Gebrauchsanweisung oder zusätzliches Training akzeptiert die FDA als Maßnahme nur mit zusätzlichen Daten, die die Wirksamkeit belegen. Nach Änderungen an der Benutzungsschnittstelle kann eine erneute Validierung nötig sein.
Sie planen eine Human-Factors-Validierung für den US-Markt? Wir unterstützen Sie bei Planung, Durchführung und Dokumentation von Human Factors Validation Tests in den USA.
Mehr zu unserem Usability EngineeringQuellen
- IEC 62366-1:2015+AMD1:2020, Medical devices, Part 1: Application of usability engineering to medical devices
- FDA Guidance: Applying Human Factors and Usability Engineering to Medical Devices
- FDA Guidance: Content of Human Factors Information in Medical Device Marketing Submissions