Gebrauchstauglichkeit von Medizinprodukten (Usability) - Formative Evaluation und Summative Evaluation

Was bedeuten Gebrauchstauglichkeit bzw. Usability?

Zu dieser Frage gibt es in der IEC 62366-1 eine gute Definition. Demnach beschreibt die Gebrauchstauglichkeit die Charakteristik der Benutzerschnittstelle, die die Benutzung erleichtert und dadurch Wirksamkeit, Effizienz und Benutzerzufriedenheit in der beabsichtigten Anwendungsumgebung ermöglicht. Die Benutzerschnittstelle ist der Teil des Medizinprodukts, mit dem der Anwender während der Benutzung interagiert. Die Benutzerumgebung ist die Umgebung, in der der Anwender das Medizinprodukt verwendet.

Der Zweck der Anwendung eines Usability-Engineering-Prozesses besteht darin, dem Patienten, Benutzer oder Dritten Sicherheit in Bezug auf die Gebrauchstauglichkeit zu bieten. Dies wird durch die Minderung von Risiken erreicht, die durch mangelnde Gebrauchstauglichkeit im Zusammenhang mit der korrekten Anwendung und durch Anwendungsfehler verursacht werden.

Wie entscheidet man, ob etwas gebrauchstauglich ist?

Per Definition geht es um den Nachweis von Aspekten der Wirksamkeit, Effizienz und Benutzerzufriedenheit – aber nichts davon ist eine physikalisch messbare Größe. Wie geht man also vor?

Wie so oft in der Medizintechnik kommt hier eine Norm ins Spiel. Die bereits erwähnte IEC 62366-1, um genau zu sein. Diese spezifiziert unterschiedliche Schritte eines Usability Engineering Prozesses, die durchlaufen werden müssen und mit dem Risikomanagement gemäß ISO 14971 verknüpft sind. Durch die Anwendung der Norm kann die Gebrauchstauglichkeit nachgewiesen werden – bis zu dem Zeitpunkt, an dem gegenteilige Informationen bekannt werden. So etwas kann passieren, wenn z. B. im Rahmen der Überwachung nach dem Inverkehrbringen festgestellt wird, dass es Schwierigkeiten mit der Gebrauchstauglichkeit des Produkts gibt.

Für welche Medizinprodukte ist Gebrauchstauglichkeit relevant?

Laut MDR und IVDR sollen vorhandene Risiken durch Anwendungsfehler so weit wie möglich reduziert werden. Dazu müssen Hersteller

• "die Risiken aufgrund ergonomischer Merkmale des Produkts und der Umgebung, in der das Produkt verwendet werden soll, so weit wie möglich verringern (auf die Sicherheit des Patienten ausgerichtete Produktauslegung) sowie
• die technischen Kenntnisse, die Erfahrung, die Aus- und Weiterbildung, gegebenenfalls die Anwendungsumgebung sowie die gesundheitliche und körperliche Verfassung der vorgesehenen Anwender berücksichtigen (auf Laien, Fachleute, Behinderte oder sonstige Anwender ausgerichtete Produktauslegung) [MDR / IVDR]".

Die oben genannten Anforderungen gehen aus den Grundlegenden Sicherheits- und Leistungsanforderungen hervor (häufig in Anlehnung an den englischsprachigen Begriff mit GSPRs abgekürzt). Da die GSPRs für alle Medizinprodukte anwendbar sind, muss im Einzelfall geprüft werden, ob die genannten Anforderungen anwendbar sind und in welchem Umfang dies zutrifft.

Wie hängt das mit dem Risikomanagement zusammen?

Bei der Gebrauchstauglichkeit geht es in erster Linie darum, Risiken durch Anwendungsfehler so weit wie möglich zu reduzieren. Der Umgang mit Risiken von Medizinprodukten wird in der ISO 14971, also im Risikomanagement geregelt. Der Prozess des Usability Engineering soll die Interaktionen des Anwenders mit dem User Interface (Benutzer-Produkt-Schnittstelle) hinsichtlich möglicher Risiken beurteilen. Dazu gehören auch die bereitzustellenden Informationen wie die Gebrauchsanweisung und Aspekte zu:

• Transport
• Lagerung
• Installation
• Anwendung
• Wartung und Reparatur
• Entsorgung

Zusätzlich sollen Eigenschaften des User Interface ermittelt werden, die mit der Sicherheit des Medizinprodukts zusammenhängen. Diese Information werden dann in den Risikomanagementprozess eingespeist.

Gebrauchstauglichkeit Prozess - Usability Engineering Prozess

Die Norm IEC 62366-1 gibt das Gerüst für einen Usability Prozess sowie detaillierte Informationen zu notwendigen Schritten vor. Es ist sogar ein Flowchart enthalten, der neben dem Prozessablauf auch die Schnittstsellen zum Risikomanagement darstellt. Wir empfehlen, sich an diese Abläufe zu halten und nicht zu versuchen, den vorgegebenen Prozess zu verschlanken oder abzuändern.

Wie erstellt man die "Use Specification"?

Die Use specification ist eine detaillierte Beschreibung der Anwendung des Medizinprodukts. Dabei ist es wichtig, sich an der tatsächlichen Anwendung im klinischen Umfeld zu orientieren. Dafür müssen folgende Fragen berücksichtigt werden:

• Für welche Indikationen wird das Medizinprodukt verwendet?
• Welche Patientengruppe wird behandelt?
• An welchen Teilen oder Geweben des menschlichen Körpers wird das Produkt angewendet?
• Wer sind die vorgesehenen Anwender und welche Qualifikation haben diese?
• In welcher Umgebung wird das Produkt angewendet?
• Welche Funktionsweise liegt dem Produkt zugrunde?

Durch die Beantwortung dieser und ggf. weiterer Fragen entsteht ein klares Bild darüber, wie und wo das Produkt im Feld verwendet wird. In der Praxis kann es schwierig sein, einige dieser Fragen zu beantworten. Das kann daran liegen, dass z.B. die Umgebung in der das Produkt angewendet wird sehr unterschiedlich sein kann. Teilweise sind auch Anwender unterschiedlicher Profile denkbar. Es ist grundsätzlich wichtig für einen Hersteller, ein umfangreiches Verständnis für das eigene Produkt und die Anwendung im Feld aufzubauen. Das klingt zwar logisch, doch wir stellen im Rahmen des Übergangs zur MDR immer häufiger fest, dass einigen Unternehmen dieses Wissen über die eigenen Produkte fehlt. Nur auf Grundlage dieses Verständnisses ist es möglich, ein solides Risikomanagement uns Usability Engineering durchzuführen.

Was sind sicherheitsrelevante Eigenschaften des User interface?

Im Rahmen des Risikomanagements gemäß ISO 14971 sind sicherheitsrelevante Eigenschaften des Produkts zu bestimmen. Dies beinhaltet auch Eigenschaften des User Interfaces, die Bezug zur Sicherheit haben. Um diese Eigenschaften zu bestimmen, können die Techniken des Usability Engineering Prozesses genutzt werden. Der Weg dabei über die IEC 62366-1 ist nicht vorgeschrieben. Wichtig ist nur, dass die Eigenschaften bestimmt werden. Sofern es produktspezifische Normen gibt, müssen darin ggf. enthaltene Informationen bzw. Anforderungen hinsichtlich des User Interface berücksichtigt werden.

Doch was für Eigenschaften des User Interface sind sicherheitsrelevant? Das ist sehr produktspezifisch. Um diese Entscheidung zu treffen, sollten Sie sich zunächst darüber bewusst sein, dass Gebrauchstauglichkeit im Sinne eines Medizinprodukts nicht in erster Linie darauf abzielt, die Anwendung des Produkts so komfortabel wie möglich zu machen. Es geht darum, die Risiken aus der Anwendung gezielt zu identifizieren und zu minimieren. Die komfortabelste Anwendung widerspricht häufig sogar der sicheren Anwendung!

Aber warum ist das so? Wenn ein Produkt komfortabel zu bedienen ist, können Sie das Produkt ohne nachzudenken benutzen. Das führt dazu, dass Sie sich nicht bewusst mit der Bedienung auseinandersetzen. Das ist schön, so lange das Produkt nicht sicherheitsrelevant ist. Doch wenn Sie beispielsweise die Medikation eines Patienten über seine Infusionspumpe verändern, ohne darüber nachzudenken, kann es schnell gefährlich werden. Die Gebrauchstauglichkeit von Medizinprodukten findet im Idealfall einen Mittelweg zwischen einer Anwendung, die komfortabel und sicher ist. Dennoch steht die Sicherheit über allem anderen!

Überlegen Sie sich also auf dieser Grundlage, welche Teile des User Interface bei einem Use Error dazu führen können, dass eine Gefährdung entsteht.

Was ist ein Use error?

Die Norm fordert, dass potentielle Use errors identifiziert werden. Dabei überlegen Sie sich, was ein Anwender alles falsch machen könnte, während der das User Interface bedient. Ein Use Error liegt auch vor, wenn der Anwender nicht dazu in der Lage ist, das Medizinprodukt bzw. einen notwendigen Arbeitsschritt damit vorzunehmen oder abzuschließen. Zusätzlich gibt es keine Einschränkung hinsichtlich der Tatsache, ob der Anwender den Use error bemerkt oder nicht bemerkt.

Per Definition gilt, dass ein Use error eine Benutzer-Aktion oder fehlende Benutzer-Aktion während der Verwendung des Medizinprodukts ist, die zu einem anderen Ergebnis führt als vom Hersteller beabsichtigt oder vom Benutzer erwartet.

Formative evaluation / entwicklungsbegleitende Bewertung

Die Formative evaluation wird während der Gestaltung und Implementierung der Benutzerschnittstelle durchgeführt, um die Benutzerschnittstelle zu untersuchen, den Verbesserungsbedarf zu ermitteln oder die Angemessenheit der Benutzerschnittstelle zu bestätigen.

Dabei geht es per Definition darum, Stärken, Schwächen und bisher unbekannte Use Errors hinsichtlich des User Interface zu ermitteln. In der entwicklungsbegleitenden Bewertung (formative evaluation) gibt es üblicherweise keine formalen Akzeptanzkriterien. Während dieser Aktivitäten soll das User Interface Schritt für Schritt entwickelt werden, um so ein bestimmtes Qualitätsniveau zu erreichen die Wahrscheinlichkeit zu erhöhen, die abschließende Bewertung (summative evaluation) zu bestehen.

Die formative evaluation ist eine multidisziplinäre Aufgabe, die ein Team aus Personen unterschiedlicher Qualifikation erfordert. Um sich ernsthaft an den Benutzeranforderungen und Bedürfnissen orientieren zu können und diese umzusetzen sollte darüber nachgedacht werden, neben Ingenieuren, Psychologen, Entwicklern und weiteren Fachexperten auch vorgesehene Anwender einzuschließen.

Grundsätzlich soll das User Interface so lange interativ verbessert werden, bis das Erreichen des notwendigen Qualiätsniveaus angenommen wird. Geht man also als Hersteller davon aus, dass die Entwicklung so weit vorangeschritten ist, dass man die abschließende Bewertung besteht, kann mit der Weiterentwicklung des User Interface aufgehört werden.

Summative evaluation / abschließende Bewertung

Das implementierte User interface unterliegt einer abschließenden Bewertung anhand der prüfbaren Anforderungen im Plan für die summative Evaluierung. Diese Bewertung wird am Ende der Entwicklung des User interface mit der Absicht durchgeführt, den Beweis zu liefern, dass das User interface sicher verwendet werden kann.

Da die begleitende Dokumentation ein Bestandteil des User Interface ist, sollte diese zur abschließenden Bewertung vorliegen. An dieser Stelle geht es darum, die Anwendung des Medizinprodukts so realistisch wie möglich zu simulieren. Dazu gehört nicht bloß, dass für die Tests vorgesehene Anwender genutzt werden, sondern auch die Bereitstellung der Informationen, die in der Praxis zum Medizinprodukt gehören. Und natürlich die Simulation einer realitätsnahen Testumgebung, wozu bei Bedarf auch die vorherige Schulung der Anwender gehört.

In der abschließenden Bewertung müssen formale Akzeptanzkriterien erfüllt werden. Diese werden zuvor während der Planung festgelegt und sollen die gewählten gefährdungsbezogenen Anwendungsszenarien adressieren. Achten Sie an dieser Stelle darauf, dass die angewendeten Kriterien auch zu Ihrer dokumentierten Risikopolitik passen müssen. Die Summative evaluation ist Bestandteil der Verifizierung und Validierung des Produktdesigns und ist eine Art Validierung der anwendungsbezogenen Sicherheitsaspekte des User Interface. Wie in einer Validierung üblich, sollten nicht die gleichen Personen an der Summative evaluation teilnehmen, die auch das User Interface entwickelt haben.