Die summative Usability Evaluation ist die abschließende Bewertung, mit der ein Hersteller nachweist, dass die vorgesehenen Nutzer ein Medizinprodukt sicher bedienen können. Sie wird mit dem finalen oder produktionsäquivalenten Produkt, repräsentativen Nutzern und unter realitätsnahen Bedingungen durchgeführt. Im regulatorischen Sprachgebrauch entspricht sie der Validierung der Benutzungsschnittstelle.
Zweck und Stellung im Prozess
Die summative Evaluation steht am Ende des Usability-Engineering-Prozesses nach IEC 62366-1. Sie beantwortet eine einzige, klar umrissene Frage: Können die vorgesehenen Nutzer die sicherheitsrelevanten Aufgaben mit dem Produkt ohne unvertretbare Restrisiken ausführen?
Sie ist ausdrücklich kein Optimierungsinstrument. Wer in der summativen Studie noch Verbesserungsideen sammeln will, hat den Prozess falsch aufgesetzt – dafür ist die formative Evaluation da. Die summative Evaluation liefert Nachweis, nicht Erkenntnisgewinn.
Geprüft wird nicht das gesamte Produkt, sondern eine begründete Auswahl der zuvor identifizierten gefährdungsbezogenen Nutzungsszenarien. Diese Auswahl muss aus der Nutzungsrisikoanalyse hervorgehen und nachvollziehbar dokumentiert sein.
Abgrenzung zur formativen Evaluation
- Zeitpunkt – Formativ begleitet die Entwicklung, summativ schließt sie ab.
- Zweck – Formativ dient dem Verbessern, summativ dem Nachweisen.
- Produktstand – Formativ genügen Prototypen, Mockups oder Klickdummys; summativ ist das finale oder produktionsäquivalente Produkt erforderlich, einschließlich finaler Beschriftungen, Verpackung und Gebrauchsanweisung.
- Kriterien – Formativ offen und explorativ; summativ mit vorab festgelegten Akzeptanzkriterien.
- Eingriff – Formativ sind Nachfragen und Hilfestellungen erlaubt und erwünscht; summativ verfälscht jede Hilfestellung das Ergebnis.
Eine späte formative Studie wird nicht dadurch zur summativen Evaluation, dass sie mit dem finalen Gerät stattfindet. Entscheidend sind Planung, Stichprobe, Akzeptanzkriterien und Durchführungsdisziplin.
Voraussetzungen: Produktreife, Nutzer, Umgebung
Drei Bedingungen entscheiden über die Verwertbarkeit der Studie:
- Produktionsäquivalentes Produkt – Die geprüfte Benutzungsschnittstelle muss der Serienausführung entsprechen. Spätere Änderungen an sicherheitsrelevanten Elementen können eine Wiederholung erforderlich machen.
- Repräsentative Nutzer – Die Teilnehmer müssen den im Benutzerprofil beschriebenen Gruppen entsprechen. Eigene Mitarbeitende, Vertriebspersonal oder produktvorerfahrene Personen sind ungeeignet und entwerten die Studie.
- Realistische Anwendungsumgebung – Relevante Störfaktoren wie Lärm, Beleuchtung, Zeitdruck, Unterbrechungen oder Handschuhe müssen abgebildet werden. Ein steriles Labor bildet eine Notaufnahme nicht ab.
Ergänzend ist zu klären, ob und wie ein Training abgebildet wird. Erhält der Nutzer im Realbetrieb eine Einweisung, darf diese auch im Test stattfinden – dann aber realistisch, inklusive des zeitlichen Abstands zwischen Schulung und Anwendung (Decay-Periode).
Stichprobengröße und Nutzergruppen
Die IEC 62366-1 nennt bewusst keine Mindestzahl, sondern fordert eine begründete, repräsentative Stichprobe. Die FDA erwartet für den US-Markt in der Regel mindestens 15 Teilnehmer je unterscheidbarer Nutzergruppe. Diese Zahl hat sich international als Orientierung durchgesetzt.
Praktisch folgenreich ist die Zahl der Nutzergruppen: Ein Produkt für Pflegekräfte, Ärzte und pflegende Angehörige benötigt drei Gruppen à 15 Teilnehmer – also 45 Personen. Genau hier zahlt sich eine eng gefasste Anwendungsspezifikation aus: Jede zusätzlich aufgenommene Nutzergruppe erhöht den Testaufwand erheblich.
Wichtig: Die summative Evaluation ist keine statistische Studie. Sie ist qualitativ angelegt – ein einziger sicherheitskritischer Anwendungsfehler kann Handlungsbedarf auslösen, unabhängig von seiner Häufigkeit.
Durchführung und Datenerhebung
Die Teilnehmer bearbeiten die ausgewählten Szenarien eigenständig. Der Versuchsleiter beobachtet und protokolliert, greift aber nicht ein – auch nicht, wenn ein Fehler offensichtlich wird. Nur so lässt sich beurteilen, ob das Produkt selbst den Fehler abfängt.
Erhoben werden pro Aufgabe: Erfolg oder Misserfolg, beobachtete Anwendungsfehler, Beinahe-Fehler, Bedienschwierigkeiten und Verständnisprobleme bei Kennzeichnung oder Gebrauchsanweisung.
Zentrales Instrument ist das Post-Task-Interview: Nach Abschluss der Aufgaben – nicht währenddessen – wird gezielt nachgefragt, warum der Teilnehmer so gehandelt hat, was er erwartet hatte und wie er die Situation verstanden hat. Ohne diese Befragung bleibt die Ursache eines Fehlers Spekulation. Die Think-Aloud-Methode ist in der summativen Evaluation dagegen unüblich, weil lautes Denken das Verhalten verändert.
Auswertung, Ursachenanalyse und Restrisiken
Für jeden beobachteten Anwendungsfehler und jede Bedienschwierigkeit ist eine Ursachenanalyse durchzuführen. Fehler zu zählen genügt nicht – gefordert ist das Verständnis, ob die Ursache in der Wahrnehmung, der Kognition oder der Handlung lag (Perception–Cognition–Action).
Anschließend wird bewertet, ob der Fehler zu einer Gefährdungssituation führen kann und ob das resultierende Restrisiko nach ISO 14971 vertretbar ist. Ist es das nicht, sind Maßnahmen erforderlich – vorrangig durch Designänderung, nachrangig durch Schutzmaßnahmen und erst zuletzt durch Information für die Sicherheit.
Dokumentation und regulatorische Verwertung
Die Ergebnisse fließen in die Gebrauchstauglichkeitsakte ein und müssen konsistent zur Risikomanagementakte sein. Für den US-Markt werden sie zusätzlich im HFE/UE Report zusammengefasst.
Der Bericht sollte mindestens enthalten: Zielsetzung und Fragestellung, geprüfte Szenarien mit Herleitung aus der Risikoanalyse, Teilnehmerprofile und Rekrutierungskriterien, Beschreibung der Testumgebung, vorab definierte Akzeptanzkriterien, Ergebnisse je Aufgabe, Ursachenanalyse aller Vorkommnisse sowie die abschließende Restrisikobewertung.
Häufigste Auditfeststellung ist nicht ein schlechtes Ergebnis, sondern eine fehlende Herleitung: Geprüfte Szenarien ohne dokumentierten Bezug zur Nutzungsrisikoanalyse machen den gesamten Nachweis angreifbar.
Häufige Fragen (FAQ)
Wie viele Teilnehmer braucht eine summative Usability Evaluation?
Die IEC 62366-1 nennt keine feste Zahl, sondern fordert eine begründete, repräsentative Stichprobe. Die FDA erwartet für den US-Markt in der Regel mindestens 15 Teilnehmer je unterscheidbarer Nutzergruppe. Bei mehreren Nutzergruppen vervielfacht sich die Teilnehmerzahl entsprechend.
Darf die summative Evaluation mit einem Prototyp durchgeführt werden?
Nur wenn der Prototyp produktionsäquivalent ist, also die finale Benutzungsschnittstelle einschließlich Beschriftung, Verpackung und Gebrauchsanweisung abbildet. Frühe Prototypen und Klickdummys sind der formativen Evaluation vorbehalten.
Muss die summative Evaluation wiederholt werden, wenn sich das Produkt ändert?
Das hängt vom Umfang der Änderung ab. Betrifft sie sicherheitsrelevante Elemente der Benutzungsschnittstelle, ist eine erneute oder ergänzende Evaluation erforderlich. Betrifft sie nur nicht-sicherheitsrelevante Aspekte, kann eine begründete Bewertung genügen – die Entscheidung ist zu dokumentieren.
Was passiert, wenn Anwendungsfehler auftreten?
Anwendungsfehler führen nicht automatisch zum Scheitern. Für jeden Fehler ist eine Ursachenanalyse durchzuführen und zu bewerten, ob das resultierende Restrisiko vertretbar ist. Ist es das nicht, sind vorrangig Designmaßnahmen erforderlich – ein Hinweis in der Gebrauchsanweisung ist die schwächste und zuletzt zulässige Maßnahme.
Ist die summative Evaluation dasselbe wie eine klinische Prüfung?
Nein. Die summative Evaluation prüft die sichere Bedienbarkeit der Benutzungsschnittstelle. Eine klinische Prüfung untersucht klinischen Nutzen und Leistung am Patienten. Beide sind eigenständige Nachweise mit unterschiedlichen Zielen, Methoden und regulatorischen Anforderungen.
Die summative Usability Evaluation ist der Nachweis, nicht die Optimierung. Sie verlangt ein produktionsäquivalentes Produkt, repräsentative Nutzer, eine realistische Umgebung, vorab definierte Akzeptanzkriterien und eine Ursachenanalyse für jeden beobachteten Fehler. Ihr Wert steht und fällt mit der nachvollziehbaren Herleitung der geprüften Szenarien aus der Nutzungsrisikoanalyse.
Sie planen eine summative Usability Evaluation oder benötigen Unterstützung bei Studiendesign, Rekrutierung und Auswertung? Wir führen summative Studien normkonform durch – von der Szenarienauswahl bis zum auditfesten Bericht.
Mehr zu unserem Usability Engineering