Suchen

Vorsicht bei Künstlicher Intelligenz in Medizinprodukten

Autor / Redakteur: Dr. Abtin Rad * / Dipl.-Ing. (FH) Hendrik Härter

In Medizinprodukten kommt vermehrt Künstliche Intelligenz zum Einsatz. Doch Vorsicht ist geboten, denn die Entscheidungen der KI müssen nachvollziehbar und verifizierbar sein. Für die Sicherheit der Patienten.

Firma zum Thema

Künstliche Intelligenz: Grundlage für die Entscheidung einer KI ist der Algorithmus. Dieser ist klinisch relevant und muss erklärbar sein.
Künstliche Intelligenz: Grundlage für die Entscheidung einer KI ist der Algorithmus. Dieser ist klinisch relevant und muss erklärbar sein.
(Bild: ©Elnur - stock.adobe.com)

Anfang Januar 2020 informierte die Weltgesundheitsorganisation (WHO) über einen besonderen Grippefall in Wuhan, China. Bereits Ende Dezember des Vorjahres warnte ein kanadisches Unternehmen, das auf die mit Künstlicher Intelligenz (KI) basierter Überwachung der Ausbreitung von Infektionskrankheiten spezialisiert ist, seine Kunden über die Gefahr einer Epidemie in China [1]. Dazu analysierte ein auf KI-gestütztes System Nachrichtenmeldungen und Beiträge in Online-Netzwerken für Tier- und Pflanzenkrankheiten. Durch den Zugang zu weltweiten Flugticketdaten wurde die Ausbreitung des Corona-Virus in den Tagen nach seinem ersten Auftreten durch die KI korrekt prognostiziert.

Das Beispiel zeigt, wie leistungsfähig eine KI und maschinelles Lernen (ML) bereits sind. Immer mehr Medizinprodukte greifen auf KI und ML zurück, beispielsweise in Form von integrierten Schaltungen. Trotz verbundener Risiken enthalten die gängigen Regelwerke noch keine spezifischen Vorgaben für den Einsatz. So definiert beispielsweise die Medizinprodukte-Verordnung (MDR) lediglich allgemeine Anforderungen an Software: Sie muss nach dem Stand der Technik entwickelt und hergestellt werden und so ausgelegt sein, dass sie sich bestimmungsgemäß verwenden lässt.

Das setzt implizit voraus, dass sich KI vorhersagbar und reproduzierbar verhält. Dafür ist ein verifiziertes und validiertes KI-Modell notwendig. Die Anforderungen an die Validierung und Verifizierung sind in den beiden Software-Standards IEC 62304 und IEC 82304 beschrieben. Es bestehen jedoch fundamentale Unterschiede zwischen konventioneller Software und KI mit maschinellem Lernen. Maschinelles Lernen fußt auf dem Training eines Modells mit Daten, ohne die Abläufe explizit zu programmieren. Durch Änderungen an sogenannten Hyperparametern wird das Modell im Laufe des Trainings stetig optimiert.

Die Trainingsdaten prüfen und Umfang festlegen

Die Qualität der Daten ist entscheidend auf die von der KI gemachten Vorhersagen. Häufige Probleme sind verzerrte Trainingsdaten (Bias), die Über- und Unteranpassung (Over-Fitting/Under-Fitting) des Modells oder Kennzeichnungsfehler (Labeling Error) bei überwachten Lernmodellen. Das kann eine gewissenhafte Prüfung aufdecken. Dabei zeigt sich, dass die Verzerrungen und Kennzeichnungsfehler oft unbeabsichtigt durch eine nicht ausreichende Vielfalt in den Trainingsdaten entstehen.

Wenn ein KI-Modell beispielsweise Äpfel erkennen soll und darauf trainiert wird und die Trainingsdaten hauptsächlich grüne Äpfel in unterschiedlichen Formen und Größen enthalten, dann kann es passieren, dass eine grüne Birne als Apfel erkannt wird, ein roter Apfel hingegen nicht. Zufällige oder unbeabsichtigte Gemeinsamkeiten in einem nebensächlichen Aspekt können von der KI unter Umständen als maßgeblich eingestuft werden. Die statistische Verteilung der Daten muss begründet und dem realen Umfeld entsprechen. Das Vorhandensein von zwei Beinen darf beispielsweise nicht entscheidend dafür sein, von einer KI als Mensch klassifiziert zu werden.

Fehler bei der Datenkennzeichnung

Kennzeichnungsfehler entstehen zudem durch Subjektivität („Schwere der Krankheit“) oder für den Zweck des Modells ungeeignete Bezeichner. Das Kennzeichnen großer Mengen an Daten und die Auswahl geeigneter Bezeichner ist zeit- und kostenintensiv. Oft wird nur ein sehr geringer Anteil der Daten händisch bearbeitet, die KI wird damit geschult und angewiesen die verbleibenden Daten zu kennzeichnen – was nicht immer fehlerfrei gelingt und Fehler reproduziert.

Neben der Datenqualität ist die Menge der verwendeten Daten entscheidend. Es existieren kaum Erfahrungswerte dafür, wie viele Daten für einen Algorithmus nötig sind. Grundsätzlich gilt zwar, dass bei ausreichender Datenmenge ein schwacher Algorithmus gut funktioniert. Die Verfügbarkeit von (markierten) Daten und Rechenleistung begrenzt die Möglichkeiten. Der mindestens erforderliche Datenumfang hängt von der Komplexität des Problems und der Komplexität des KI-Algorithmus ab – wobei nichtlineare Algorithmen in der Regel mehr Daten benötigen als lineare. Üblicherweise werden 70 bis 80% der verfügbaren Daten zum Training des Modells und der Rest zur Verifizierung der Vorhersagen verwendet. Dabei sollten die Trainingsdaten eine maximale Bandbreite von Attributen abdecken.

Eine Künstliche Intelligenz darf keine Black Box sein

Klinisch relevant und erklärbar muss der KI-Algorithmus in einem Medizinprodukt sein. Aufgrund der stark verschachtelten und nichtlinearen Struktur von KI-Modellen verhalten sich diese häufig als Black-Box und die Entscheidungen der KI sind nicht nachvollziehbar. In diesem Fall könnte nicht spezifiziert werden, welcher Teil der Eingabedaten (diagnostische Bilder) zur Entscheidung der KI führt (im Bild gefundenes Krebsgewebe).

Auch KI-Methoden zur MRT- und CT-Bildrekonstruktion haben sich in Praxis sich immer wieder als instabil erwiesen. Schon geringfügige Änderungen an den Eingabebildern können zu völlig unterschiedlichen Ergebnissen führen. Ein Grund dafür ist, dass die Algorithmen nicht immer ausreichend verstanden werden. Ohne transparente und nachvollziehbare KI-Vorhersagen lässt sich die medizinische Aussagekraft der Entscheidung anzweifeln. Einige aktuelle Fehlverhalten von KI in pre-klinischen Anwendungen verstärken diese Zweifel. Eine KI-Entscheidung erklären zu können ist jedoch die Voraussetzung für eine sichere Anwendung am Patienten. Nur so lässt sich Vertrauen gewinnen und erhalten.

Diesen Beitrag lesen Sie auch in der Fachzeitschrift ELEKTRONIKPRAXIS Ausgabe 21/2020 (Download PDF)

Checkliste für Medizinprodukte mit KI

Die Sicherheit von KI-basierten Medizinprodukten erfordert einen prozess-orientierten Ansatz über alle Phasen des Lebenszyklus hinweg. Die Checkliste der Interessengemeinschaft der Benannten Stellen für Medizinprodukte in Deutschland umfasst folgende drei Bereiche:

Allgemeine Anforderungen: Darunter fällt die Zertifizierbarkeit von KI, die zugehörigen Prozesse und die erforderlichen Kompetenzen bei der Entwicklung, aber auch die sorgfältige Dokumentation.

Anforderungen an die Produktentwicklung:
1. Zunächst geht es darum, den Zweck des Medizinprodukts zu bestimmen sowie die Anforderungen an die Stakeholder. Wer nutzt das Produkt in welchem Kontext? Welcher Input existiert für das Risikomanagement und für die klinische Bewertung?

2. Es folgen Software-Anforderungen wie Funktionalität und Leistungsfähigkeit oder User Interfaces. Auch hier sind ein umfassendes Risikomanagement und eine klinische Bewertung nötig.

3. Das Datenmanagement beginnt mit der Sammlung der Trainings-, Validierungs- und Testdatensätzen. Diese müssen gelabelt werden. Neben den Verfahren zur Vorbereitung und Verarbeitung von Daten ist die Dokumentation und Versionskontrolle zentral.

4. Bei der Modellentwicklung kommen die Vorbereitung, das Training und die Bewertung sowie die Dokumentation in den Blick.

5. Die Produktentwicklung selbst gliedert sich in die Software-Entwicklung, der Erstellung der Begleitmaterialien sowie die Usability-Validierung und die Klinische Bewertung.

6. Schließlich ist die Produktfreigabe noch einmal gesondert zu betrachten. Anforderungen an nachgelagerten Phasen: Nach der Entwicklung sollte die Produktion, Distribution und Installation betrachtet werden. Das ist genauso wichtig wie eine anschließende kontinuierliche Marktüberwachung [2].

Referenzen

[1] Coronavirus: Warum ein Algorithmus zuerst von der Pandemie wusste.

[2] Fragenkatalog: „Künstliche Intelligenz bei Medizinprodukten“

* Dr. Abtin Rad ist Global Director Functional Safety, Software and Digitization, TÜV SÜD Product Service.

(ID:46920575)