Eine Formative Usability Evaluation (formative Bewertung) ist eine entwicklungsbegleitende Bewertung der Benutzungsschnittstelle bzw. der Benutzer-Produkt-Interaktion mit dem Ziel, Stärken, Schwächen und nicht vorhergesehene Anwendungsfehler frühzeitig zu identifizieren. Sie dient nicht als abschließender Wirksamkeitsnachweis, sondern als Werkzeug zur iterativen Optimierung des Designs während der Entwicklung – und ist zentraler Bestandteil des Usability-Engineering-Prozesses nach IEC 62366-1.
Rolle im Usability-Engineering-Prozess
Formative Evaluationen werden typischerweise mehrfach während der Entwicklung durchgeführt. Sie schließen die Lücke zwischen Nutzungsanforderungen, Risikobeurteilung und späterer summativer Evaluation. Ergebnisse fließen unmittelbar in die Weiterentwicklung der Benutzungsschnittstelle, Gebrauchsanweisung, Schulungsmaterialien oder Systemarchitektur ein. Im Gegensatz zu einer abschließenden Validierung besteht das Ziel nicht darin, Sicherheit und Gebrauchstauglichkeit nachzuweisen, sondern Designprobleme aufzudecken – dadurch können Risiken reduziert werden, bevor das finale Design festgelegt wird.
Abgrenzung zur summativen Evaluation
Die häufigste Verwechslung besteht zwischen formativer und summativer Evaluation. Beide können dieselben Methoden verwenden, verfolgen jedoch unterschiedliche Ziele. Formative Evaluationen sind explorativ – Moderation, Nachfragen, Designvarianten und spontane Anpassungen sind zulässig. Summative Evaluationen hingegen dienen dem Nachweis, dass kritische Aufgaben sicher und effektiv durch repräsentative Anwender ausgeführt werden können; dort müssen Studienablauf und Datenerhebung wesentlich stärker kontrolliert sein. Für die regulatorische Akzeptanz ist die formative Evaluation kein Ersatz für eine summative Evaluation.
Typische Methoden
Formative Evaluationen können mit unterschiedlichen Methoden durchgeführt werden:
- Kontextuelle Nutzungssimulationen
- Moderierte Usability-Tests
- Cognitive Walkthroughs
- Expert Reviews
- Heuristische Evaluationen
- Mock-up- und Prototypentests
- Wizard-of-Oz-Szenarien
- Fokusgruppen mit konkreten Nutzungsszenarien
Besonders bei Medizinprodukten werden häufig frühe Prototypen mit repräsentativen Anwendern getestet, um kritische Aufgaben, Fehlbedienungen und Missverständnisse zu identifizieren. Die Methodenwahl hängt dabei vom Entwicklungsstand und den identifizierten nutzungsbezogenen Risiken ab.
Bezug zur Nutzungsrisikoanalyse
Formative Evaluationen sind eng mit der Nutzungsrisikoanalyse (Use-related Risk Analysis, URRA) verknüpft. Sie dienen dazu, vermutete Use Errors zu überprüfen, bisher unbekannte Use Errors aufzudecken, Gefährdungssituationen besser zu verstehen und Risikokontrollmaßnahmen zu bewerten. In der Praxis entstehen viele relevante Erkenntnisse nicht aus der theoretischen Risikoanalyse, sondern erst durch die Beobachtung realer Anwender – formative Studien liefern daher häufig Input für die Aktualisierung der Nutzungsrisikoanalyse.
Iterative Designoptimierung
Der eigentliche Nutzen der formativen Evaluation liegt in der Iteration. Eine einzelne formative Studie besitzt meist nur begrenzten Wert; erst die wiederholte Durchführung nach Designänderungen ermöglicht eine systematische Verbesserung der Benutzungsschnittstelle. Ein typischer Zyklus umfasst die Identifikation eines Problems, die Ableitung einer Designmaßnahme, deren Umsetzung und eine erneute formative Überprüfung. Dieser Prozess wird wiederholt, bis keine relevanten nutzungsbezogenen Sicherheitsprobleme mehr auftreten oder das Restrisiko akzeptabel begründet werden kann.
Häufige Schwächen in der Praxis
In Audits und Projekten treten regelmäßig folgende Defizite auf:
- Durchführung formativer Studien erst kurz vor der summativen Evaluation
- Fehlende Verknüpfung zur Nutzungsrisikoanalyse
- Dokumentation lediglich als allgemeiner Usability-Testbericht
- Konzentration auf Bedienkomfort statt sicherheitsrelevante Nutzung
- Auswahl nicht repräsentativer Nutzergruppen
- Keine Nachverfolgung erkannter Probleme und Designänderungen
Besonders problematisch ist die Durchführung einer einzelnen formativen Untersuchung ohne erkennbare Iteration – dadurch geht der eigentliche Zweck der Methode verloren.
Regulatorischer Bezug
IEC 62366-1 fordert die Planung und Durchführung formativer Bewertungen als Bestandteil des Usability-Engineering-Prozesses; Ziel ist die Bewertung und Verbesserung der Benutzungsschnittstelle während der Entwicklung, um Designschwächen, potenzielle Anwendungsfehler und Risiken frühzeitig zu identifizieren. Die FDA empfiehlt in ihrer Human-Factors-Guidance die Durchführung mehrerer formativer Untersuchungen während der Produktentwicklung und definiert die formative Evaluation als Bewertung der Benutzungsschnittstelle zur Identifizierung von Stärken, Schwächen und unerwarteten Anwendungsfehlern. Die EU-MDR fordert zwar nicht ausdrücklich formative Evaluationen, verlangt jedoch den Nachweis der Berücksichtigung von Ergonomie, Anwendermerkmalen und der Reduktion nutzungsbedingter Risiken – die Umsetzung erfolgt üblicherweise über den Usability-Engineering-Prozess nach IEC 62366-1.
Häufige Fragen (FAQ)
Muss jede formative Evaluation mit realen Anwendern durchgeführt werden?
Nein. Frühe formative Bewertungen können auch als Expert Review, Cognitive Walkthrough oder Prototypenbewertung durchgeführt werden. Bei sicherheitskritischen Fragestellungen liefern jedoch repräsentative Anwender meist deutlich belastbarere Erkenntnisse.
Gibt es regulatorische Vorgaben für die Stichprobengröße?
Für formative Evaluationen existieren keine festen regulatorischen Stichprobenvorgaben. Die Anzahl der Teilnehmer sollte sich am Entwicklungsziel, dem Risiko und der erwarteten Erkenntnistiefe orientieren.
Können Ergebnisse einer formativen Evaluation direkt als Validierungsnachweis verwendet werden?
Nein. Formative Evaluationen dienen der Designverbesserung. Der regulatorische Nachweis der sicheren Anwendung erfolgt normalerweise über eine separate summative Evaluation bzw. Human Factors Validation.
Muss jede Designänderung durch eine neue formative Evaluation überprüft werden?
Nicht zwingend. Wesentliche Änderungen an sicherheitsrelevanten Nutzerschnittstellen sollten jedoch risikobasiert bewertet und gegebenenfalls erneut formativ untersucht werden.
Formative Usability Evaluation ist der iterative Motor der Designoptimierung – nicht der Wirksamkeitsnachweis. Ihr Wert entsteht erst durch wiederholte Durchführung nach Designänderungen und durch die konsequente Rückkopplung in die Nutzungsrisikoanalyse.
Sie möchten Ihr Produktdesign frühzeitig und iterativ mit repräsentativen Anwendern testen, bevor kostspielige Designentscheidungen fallen? Wir unterstützen Sie im gesamten Usability-Engineering-Prozess nach IEC 62366-1.
Mehr zu unserem Usability Engineering