Healthcare AI

Due Diligence bei Anbietern medizinischer KI: 25 Fragen vor einem Pilotprojekt im Krankenhaus

Due Diligence bei Anbietern medizinischer KI entscheidet, ob ein Pilotprojekt im Krankenhaus starten kann. Stellen Sie 25 Fragen zu Zweckbestimmung, Regulierung, Evidenz, Patientendaten, Integration, Aufsicht, Change Control und Kosten, und halten Sie die Antworten in einer Go/No-Go-Scorecard fest.

• 16 Min. Lesezeit
Due Diligence bei Anbietern medizinischer KI: 25 Fragen vor einem Pilotprojekt im Krankenhaus

Due Diligence bei Anbietern medizinischer KI ist die strukturierte Prüfung, die ein Krankenhaus oder ein Health-Tech-Team durchführt, bevor es einen Vertrag unterschreibt oder ein Pilotprojekt startet: welche Entscheidung das System unterstützt, welche Evidenz es stützt, wohin Patientendaten fließen, wie es integriert wird, wer es übersteuern kann, wie Änderungen kontrolliert werden und was es wirklich kostet. Ein Anbieter kann einen starken Benchmark, eine ausgefeilte Oberfläche und einen selbstbewussten Pilotvorschlag präsentieren und diese Fragen trotzdem offenlassen. Wer war in den Validierungsdaten vertreten? Wo werden Patientendaten verarbeitet? Was passiert, wenn das Modell unsicher ist? Wer genehmigt ein Update, und wer liefert die Nachweise, die Ihre internen Prüfer verlangen werden?

Der Kauf medizinischer KI ist deshalb nicht nur eine Softwarebeschaffung. Er ist zugleich eine klinische Entscheidung, eine Entscheidung über Data Governance, Integration, Sicherheit, Validierung und das Betriebsmodell. Dieser Leitfaden enthält 25 Fragen, die Sie stellen sollten, die Evidenz, die als Antwort zählt, die Warnsignale und den Weg zu einer Go/No-Go-Entscheidung. Er ist eine technische und operative Orientierung, keine Rechtsberatung; regulatorische Einstufung und Vertragsbedingungen sollten Sie mit qualifizierter Rechtsberatung klären.

Was sollte ein Krankenhaus einen Anbieter medizinischer KI fragen?

Ein Krankenhaus sollte einem Anbieter medizinischer KI Fragen stellen, die drei Dinge getrennt prüfen: ob das Modell technisch leistet, was es verspricht, ob seine Nutzung den vorgesehenen klinischen oder operativen Ablauf verbessert, und ob die Organisation es verantwortungsvoll einsetzen, steuern, überwachen und vertreten kann. Eine starke Antwort auf eine dieser Fragen beweist die anderen beiden nicht. Ein Modell mit exzellenter retrospektiver Genauigkeit kann Ärztinnen und Ärzte trotzdem ausbremsen, und ein beliebtes Workflow-Tool kann Patientendaten trotzdem an einen Ort senden, den Ihr Datenschutzbeauftragter nicht freigeben kann.

In der Praxis verteilen sich die 25 Fragen unten auf acht Bereiche: Zweckbestimmung, regulatorische Einordnung, klinische und analytische Evidenz, Patientendaten und DSGVO, Architektur und Integration, menschliche Aufsicht, Monitoring und Change Control sowie kommerzielle Bedingungen. Stellen Sie sie in dieser Reihenfolge. Die Zweckbestimmung kommt zuerst, weil sie die benötigte Evidenz, den regulatorischen Weg, den Validierungsaufwand und das Aufsichtsdesign bestimmt; jede spätere Antwort wird an ihr gemessen.

Warum beginnt die Due Diligence für medizinische KI mit der Zweckbestimmung?

Die Due Diligence für medizinische KI beginnt mit der Zweckbestimmung, weil jede spätere Frage von ihr abhängt. "KI-gestützter Workflow" oder "klinische Entscheidungsunterstützung" ist zu vage, um bewertet zu werden: Es sagt nicht, welche Entscheidung sich ändert, für wen, und was ein Fehler kostet. Legen Sie sie mit fünf Fragen fest:

  1. Welche genaue klinische oder operative Entscheidung unterstützt das System?
  2. Wer ist der vorgesehene Anwender?
  3. Welche Patientenpopulation und welches Versorgungssetting sind abgedeckt?
  4. Was liegt ausdrücklich außerhalb der Zweckbestimmung?
  5. Welcher bestehende Ablauf, welche Kosten, Verzögerung oder welches Risiko soll sich verbessern, und um wie viel?

Die Antwort ordnet das Produkt auf einem Spektrum ein, und jede Stufe nach oben erhöht die Anforderungen an Evidenz, regulatorische Prüfung und Aufsicht:

  • Administrative Automatisierung, etwa Terminplanung, Unterstützung bei der Kodierung oder Dokumentenweiterleitung.
  • Priorisierung im Workflow, etwa das Umsortieren einer Befundungsliste.
  • Klinische Entscheidungsunterstützung, die einer Ärztin oder einem Arzt Informationen liefert, die oder der entscheidet.
  • Screening oder Triage, bei denen die Ausgabe bestimmt, wer zuerst oder überhaupt gesehen wird.
  • Diagnostische oder prognostische Funktionen.
  • Therapieempfehlungen.

Warnsignale: Der Anwendungsfall ändert sich je nachdem, wer fragt; der Anbieter beschreibt Fähigkeiten statt einer klar begrenzten Zweckbestimmung; niemand kann die Populationen oder Settings nennen, in denen das System validiert wurde; der Pilotvorschlag hat keine Baseline und keine Entscheidungsschwelle.

Wie prüfen Sie die regulatorische Einordnung eines medizinischen KI-Produkts?

Die regulatorische Einordnung eines medizinischen KI-Produkts prüfen Sie, indem Sie den Anbieter bitten, sie schriftlich darzulegen, und sie dann mit der eben festgelegten Zweckbestimmung abgleichen. Vier Fragen:

  1. Gilt das Produkt als Software mit Medizinproduktestatus nach MDR oder IVDR, und nach welcher Klassifizierungsregel?
  2. Wie ist der aktuelle Stand der Konformitätsbewertung oder Zertifizierung, und deckt die Bescheinigung die von Ihnen geplante Zweckbestimmung ab?
  3. Handelt der Anbieter als Anbieter im Sinne des EU AI Act und Ihre Organisation als Betreiber?
  4. Welche Pflichten und welche Dokumentation verbleiben bei Ihnen?

Versuchen Sie nicht, die Einstufung anhand einer Vertriebspräsentation zu klären; sie hängt von der Zweckbestimmung ab und erfordert eine qualifizierte regulatorische Prüfung. Einige Punkte gelten aber unabhängig davon. Der EU AI Act ersetzt MDR und IVDR nicht, er gilt neben ihnen, und ein KI-System, das ein Medizinprodukt mit Bewertung durch eine Benannte Stelle ist, kann nach Artikel 6 Absatz 1 des AI Act zusätzlich hochriskant sein. Nicht jedes medizinische KI-System ist hochriskant. Krankenhäuser behalten als Betreiber eigene Pflichten nach Artikel 26, darunter kompetente menschliche Aufsicht, Überwachung und die Aufbewahrung von Protokollen für mindestens sechs Monate. Und wer ein System unter eigenem Namen vertreibt oder wesentlich verändert, kann nach Artikel 25 zu dessen Anbieter werden; das behandelt der Leitfaden zu Anbieter und Betreiber im Detail.

Warnsignale: "Wir sind DSGVO-konform" anstelle eines Datenflusses; die CE-Kennzeichnung als Beweis, dass das Produkt in jeder lokalen Population funktioniert; ein Vertrag, der die Bereitstellung von Nachweisen und das operative Monitoring offenlässt.

Reicht eine CE-Kennzeichnung, um ein Pilotprojekt mit medizinischer KI freizugeben?

Nein. Eine CE-Kennzeichnung zeigt, dass ein Medizinprodukt das Konformitätsbewertungsverfahren für seine angegebene Zweckbestimmung nach MDR oder IVDR durchlaufen hat. Eine CE-Kennzeichnung zeigt nicht, dass das Produkt in Ihrer Patientenpopulation funktioniert, zu Ihrem Workflow passt oder Ihre Anforderungen an Datenschutz, Sicherheit und Integration erfüllt. Sie ersetzt weder eine lokale Workflow-Bewertung noch eine Datenschutz-Folgenabschätzung, eine Sicherheitsprüfung, eine lokale Validierung, vertragliche Regelungen zu Daten und Updates oder einen Plan für das operative Monitoring.

Behandeln Sie die CE-Kennzeichnung als Voraussetzung, die eine Frage gut beantwortet und die übrigen offenlässt. Prüfen Sie zwei Details: dass die zertifizierte Zweckbestimmung zu Ihrer geplanten Nutzung passt und dass die Version, die Sie einsetzen werden, die zertifizierte ist. Ein zertifiziertes Produkt außerhalb seiner Zweckbestimmung zu nutzen, ist einer der Wege, auf denen ein Betreiber beginnt, Verantwortung auf Anbieterniveau zu tragen. Wie sich AI Act und Medizinprodukterecht für Krankenhäuser überschneiden, zeigt der EU AI Act für KI-Systeme im Gesundheitswesen.

Welche Evidenz sollte ein Anbieter medizinischer KI liefern?

Ein Anbieter medizinischer KI sollte ein Evidenzpaket liefern, keine einzelne Kennzahl: eine Beschreibung der Zweckbestimmung, die Herkunft der Datensätze, Ergebnisse externer Validierung, Ergebnisse für Subgruppen mit Konfidenzintervallen, eine Fehleranalyse, klinische Evidenz für den behaupteten Nutzen, Sicherheitsdokumentation, eine Beschreibung der Datenflüsse, einen Monitoringplan und eine Versionshistorie. Fünf Fragen prüfen es:

  1. Welche Datensätze, Standorte, Geräte, Zeiträume und Patientenpopulationen wurden für die Evaluation verwendet?
  2. War die Evaluation extern, unabhängig, prospektiv oder multizentrisch?
  3. Liegen Ergebnisse für Subgruppen und Konfidenzintervalle vor?
  4. Wie verhält sich das System bei fehlenden, beschädigten, ungewöhnlichen oder außerhalb der Verteilung liegenden Eingaben?
  5. Wurde es in einem Setting validiert, das mit Ihrem vergleichbar ist?

Halten Sie zwei Arten von Evidenz auseinander. Die analytische Validierung fragt, ob das System zuverlässig berechnet oder vorhersagt, was es behauptet. Die klinische Validierung fragt, ob die Nutzung der Ausgabe das vorgesehene Ergebnis ohne unvertretbaren Schaden verbessert. Die Gesamtgenauigkeit beantwortet für sich genommen keine der beiden Fragen. Je nach Anwendungsfall brauchen Sie Sensitivität, Spezifität, Kalibrierung, positiven und negativen prädiktiven Wert bei Ihrer Prävalenz, Leistung in Subgruppen und Leistung an der klinisch relevanten Schwelle. Berichtsleitlinien wie TRIPOD+AI für Vorhersagemodelle und DECIDE-AI für die frühe klinische Evaluation sind ein nützlicher Maßstab dafür, was eine vollständige Studie berichtet. Wie Sie die Validierung selbst durchführen, ist eine eigene Aufgabe und Thema der Checkliste zur Validierung medizinischer KI.

Warnsignale: eine einzige Kennzahl; Validierungsdaten vom selben Standort oder aus demselben Zeitraum wie die Trainingsdaten; nichts zu relevanten Subgruppen, Geräten oder Settings; keine Erklärung falsch negativer, falsch positiver Ergebnisse oder der Unsicherheit; ein retrospektiver Benchmark als Beweis für klinischen Nutzen.

Wie erfassen Sie die Risiken eines Anbieters medizinischer KI bei Patientendaten und DSGVO?

Die DSGVO-Risiken eines Anbieters medizinischer KI erfassen Sie, indem Sie jeden Fluss von Patientendaten verfolgen, vom Verlassen Ihrer Systeme bis zur Löschung, und jeden Fluss am Vertrag statt an der Website des Anbieters prüfen. Fünf Fragen:

  1. Welche Patienten- oder Betriebsdaten verlassen die Organisation?
  2. Wo werden sie gespeichert, verarbeitet, protokolliert und gesichert?
  3. Werden Kundendaten für Modelltraining, Evaluation, Missbrauchsüberwachung oder Produktverbesserung genutzt?
  4. Welche Unterauftragsverarbeiter haben Zugriff?
  5. Kann das System mit minimierten, de-identifizierten, synthetischen oder lokal verarbeiteten Daten arbeiten?

Gesundheitsdaten sind eine besondere Kategorie nach Artikel 9 DSGVO, die Verarbeitung braucht also sowohl eine Rechtsgrundlage nach Artikel 6 als auch eine Bedingung nach Artikel 9. Pseudonymisierte Daten bleiben in der Regel personenbezogene Daten, solange eine Re-Identifizierung möglich ist, wie Erwägungsgrund 26 klarstellt. Erwarten Sie einen Auftragsverarbeitungsvertrag nach Artikel 28 mit Aufbewahrungsfristen, Lösch- und Exportverfahren, einer Liste der Unterauftragsverarbeiter einschließlich Cloud- und Modellanbietern, Regeln für Prompt- und Ausgabeprotokolle und der Grundlage für jede Übermittlung außerhalb der EU. Die umfangreiche Verarbeitung von Gesundheitsdaten mit einer neuen Technologie ist der Lehrbuchfall für eine Datenschutz-Folgenabschätzung nach Artikel 35.

Die Cloud ist nicht automatisch unsicher und On-Premise nicht automatisch konform; entscheidend ist, was verarbeitet wird, unter wessen Kontrolle und mit welchen Schutzmaßnahmen. Die Abwägungen beschreibt On-Premise oder Cloud-KI im Gesundheitswesen.

Warnsignale: kein vollständiges Datenflussdiagramm; Aufbewahrungsregeln oder Opt-outs vom Training, die nur in der Dokumentation stehen, nicht im Vertrag; unklare Unterauftragsverarbeiter oder Regionen; Freitext aus klinischen Notizen, der standardmäßig als nicht identifizierbar gilt; keine Möglichkeit, Ihre Daten und Protokolle zu exportieren oder zu löschen.

Wie bewerten Sie Architektur, Sicherheit und Integration eines medizinischen KI-Systems?

Die Architektur eines medizinischen KI-Systems bewerten Sie, indem Sie eine echte Anfrage von Anfang bis Ende verfolgen: vom KIS oder PACS über Identitäts- und Zugriffsprüfungen zur Inferenz, zur Ausgabe, die eine Ärztin oder ein Arzt sieht, und in das Audit-Log. Vier Fragen:

  1. Wie wird das System an KIS, PACS, DICOM- und FHIR-Schnittstellen, den Identitätsanbieter und das bestehende Berechtigungsmodell angebunden?
  2. Wie werden Zugriffsrechte über Abruf, Inferenz und Ausgabe hinweg durchgesetzt?
  3. Was passiert bei Ausfall, eingeschränktem Betrieb oder Verbindungsverlust?
  4. Können Sie Daten, Protokolle, Konfiguration und Informationen zur Modellversion exportieren?

Die Prüfungen hinter diesen Fragen sind konkret: Single Sign-on und rollenbasierter Zugriff, Audit-Logs unter Ihrer Kontrolle, Verschlüsselung bei Übertragung und Speicherung, Trennung der Umgebungen, Schwachstellenmanagement, Backup und Wiederherstellung, Ziele für Latenz und Verfügbarkeit, Fristen für Meldungen bei Sicherheitsvorfällen, Datenportabilität und die Frage, wem die Integrationsarbeit gehört. Public Cloud, Private Cloud, On-Premise und hybride Modelle können diese Prüfungen alle bestehen oder nicht bestehen; das Bereitstellungsmodell zählt weniger als die Frage, ob die Kontrollen belegt sind.

Warnsignale: Das System umgeht bestehende klinische Zugriffskontrollen; nur der Anbieter hat ein brauchbares Audit-Log; es gibt keinen sicheren Ersatzablauf bei Ausfällen; der Integrationsaufwand ist im angebotenen Implementierungsumfang nicht enthalten; niemand kann sagen, welche Modellversion eine frühere Ausgabe erzeugt hat.

Wie bewerten Sie die menschliche Aufsicht in einem medizinischen KI-Workflow?

Die menschliche Aufsicht in einem medizinischen KI-Workflow bewerten Sie, indem Sie prüfen, ob der vorgesehene Anwender die Zeit, die Informationen, die Kompetenz und die Befugnis hat einzugreifen, nicht ob auf einer Architekturfolie "Human in the Loop" steht. Zwei Fragen:

  1. Kann der vorgesehene Anwender die Ausgabe verstehen, hinterfragen und übersteuern?
  2. Wie werden Unsicherheit, Grenzen, Übersteuerungen und Eskalationen kommuniziert und dokumentiert?

Zwei Fehlermuster verdienen besondere Aufmerksamkeit. Automation Bias ist die Neigung, eine selbstsicher wirkende Ausgabe zu akzeptieren, auch wenn andere Informationen ihr widersprechen; Alarmmüdigkeit ist die umgekehrte Entwicklung, bei der häufige Warnungen mit geringem Nutzen ungelesen weggeklickt werden. Beides sind Designprobleme. Lassen Sie sich deshalb die Oberfläche für einen Fall mit geringer Konfidenz und für einen Fall mit fehlenden Eingaben zeigen, und fragen Sie, was das System tut, wenn ihm Informationen fehlen. Fragen Sie, welche Schulung Anwender erhalten, wie Übersteuerungen protokolliert und ausgewertet werden, wohin Eskalationen gehen und wie die Verantwortung zwischen Anbieter, Krankenhaus und Ärztin oder Arzt verteilt ist. Artikel 26 des EU AI Act erwartet von Betreibern hochriskanter Systeme, die Aufsicht Personen mit der nötigen Kompetenz, Schulung und Befugnis zu übertragen.

Warnsignale: Empfehlungen ohne Angabe von Unsicherheit oder Grenzen; Übersteuerungen sind möglich, werden aber nie protokolliert oder ausgewertet; ein Anwender ist formal verantwortlich, erhält aber weder Schulung noch Entscheidungskontext; kein festgelegtes Verhalten bei geringer Konfidenz oder Eingaben außerhalb der Verteilung.

Zu welchem Monitoring und welcher Change Control sollte sich ein Anbieter medizinischer KI verpflichten?

Ein Anbieter medizinischer KI sollte sich vertraglich zu einem Plan für Monitoring und Change Control verpflichten, der das Modellverhalten abdeckt, nicht nur die Verfügbarkeit. Der Plan sollte Modell- und Datensatzversionen benennen und festlegen, wie Daten- und Leistungsdrift erkannt werden, wie die Leistung in Subgruppen verfolgt wird, wie Vorfälle an Sie gemeldet werden, was ein Retraining oder eine erneute Validierung auslöst, mit welcher Vorlaufzeit Sie über ein Update informiert werden, wie ein Rollback funktioniert und wer eine Änderung genehmigt. Pflichten zur Überwachung nach dem Inverkehrbringen und zur Vigilanz nach der MDR sowie die Überwachungspflichten des Anbieters nach dem AI Act liegen beim Anbieter; Ihre eigene Pflicht, den Betrieb zu überwachen und Probleme an den Anbieter zu melden, bleibt bestehen.

Die wichtigste Frage in diesem Bereich: Kann der Anbieter Modell, Prompt, Abrufprozess oder den zugrunde liegenden Modellanbieter wesentlich ändern, ohne dass Sie vorher prüfen? Bei einem System auf Basis eines fremden Foundation Models kann ein stiller Austausch dieses Modells das Verhalten so stark verändern wie ein Retraining. Vereinbaren Sie im Voraus, welche Änderungen eine Vorankündigung erfordern, welche Ihre erneute Validierung erfordern und welche Sie berechtigen, die Nutzung auszusetzen.

Warnsignale: automatische, undokumentierte Updates; Monitoring, das die Verfügbarkeit abdeckt, nicht aber das Modellverhalten; keine vorab festgelegten Schwellen für Untersuchung oder Aussetzung; frühere Entscheidungen, die sich keiner Modell- und Konfigurationsversion zuordnen lassen.

Was kostet die Einführung eines medizinischen KI-Systems wirklich?

Die Einführung eines medizinischen KI-Systems kostet weit mehr als seine Lizenz, weil die Lizenz meist der kleinste Posten ist. Eine vollständige Schätzung umfasst Lizenz- und Nutzungsgebühren, Integrationsarbeit, Datenaufbereitung, die Prüfung durch Datenschutz und Informationssicherheit, klinische Validierung, Schulung der Mitarbeitenden, Monitoring und Support, interne Verantwortlichkeit, erneute Validierung nach Änderungen des Anbieters sowie Ausstieg und Migration. Eine günstige Lizenz kann trotzdem zu einer teuren Einführung führen, wenn das Krankenhaus Evidenz, Integration und Governance-Struktur selbst aufbauen muss.

Fragen für die kommerzielle Prüfung:

  • Welche Service-Levels und Reaktionszeiten im Support sind vertraglich zugesichert, und welche Folgen hat ihre Verletzung?
  • Welche Dienstleistungen sind enthalten, und welche werden gesondert abgerechnet?
  • Welche Unterstützung gibt es bei Vertragsende, und in welchem Format werden Daten und Konfiguration exportiert?
  • Wem gehört das geistige Eigentum an Konfigurationen, abgeleiteten Daten und Modellverbesserungen, die mit Ihren Daten trainiert wurden?
  • Wo verlaufen die Haftungsgrenzen zwischen Anbieter, Krankenhaus und Ärztin oder Arzt?

Vereinbaren Sie die Ausstiegsbedingungen vor dem Pilotprojekt, solange Sie noch Verhandlungsmacht haben. Sobald ein System in einen klinischen Ablauf eingebettet ist, steigen die Wechselkosten schnell, und die Verhandlungsposition verschiebt sich zum Anbieter.

Wie wird aus der Due Diligence eine Go/No-Go-Entscheidung für das Pilotprojekt?

Aus der Due Diligence wird eine Go/No-Go-Entscheidung für das Pilotprojekt, wenn jeder Bereich benannte Nachweise, eine vorab vereinbarte akzeptable Schwelle, eine verantwortliche Person und einen Status hat. Eine Scorecard wie die folgende macht die Entscheidung explizit und verhindert, dass eine starke Demo eine offene Datenschutzfrage aufwiegt.

BereichAngeforderte NachweiseAkzeptable SchwelleVerantwortlichStatus
Klinischer NutzenBaseline und messbares ErgebnisVor Start des Pilotprojekts festgelegtKlinische LeitungRot / Gelb / Grün
ValidierungExterne Evidenz und SubgruppenRelevant für die lokale Population und das SettingMedizinische oder ValidierungsleitungRot / Gelb / Grün
Regulatorische EinordnungKlassifizierung, Umfang der Bescheinigung, Rolle nach AI ActDurch regulatorische Prüfung bestätigtRegulatory Affairs oder RechtsabteilungRot / Gelb / Grün
Data GovernanceDatenflussübersicht und vertragliche RegelungenVon Datenschutzbeauftragtem und Informationssicherheit freigegebenDatenschutzbeauftragterRot / Gelb / Grün
SicherheitNachweise zu Architektur und KontrollenSicherheitsprüfung bestandenInformationssicherheitRot / Gelb / Grün
IntegrationSchnittstellen- und WorkflowplanAufwand und Verantwortliche vereinbartIT oder EngineeringRot / Gelb / Grün
Menschliche AufsichtDesign für Übersteuerung und EskalationKlinisch praktikabel für die vorgesehenen AnwenderVerantwortliche für klinische SicherheitRot / Gelb / Grün
MonitoringDrift, Vorfälle, Versionierung, Ankündigung von UpdatesOperativer Plan vorhanden und vertraglich verankertProdukt- oder ML-VerantwortlicheRot / Gelb / Grün
KommerziellVollständige Einführungs- und AusstiegskostenBudget und Ausstiegsbedingungen akzeptiertEinkaufRot / Gelb / Grün

Legen Sie vor Beginn des Pilotprojekts nicht verhandelbare Abbruchkriterien fest, damit niemand sie mittendrin neu verhandelt: eine ungeklärte Rechtsgrundlage für die Verarbeitung von Patientendaten; fehlende Evidenz für die vorgesehene Population; Ausgaben, die sich nicht prüfen lassen; keine wirksame Übersteuerung; eine unklare Update-Politik für das Modell; Integrations- oder Sicherheitsrisiken außerhalb Ihrer Toleranz; und kein messbares Workflow- oder klinisches Ergebnis. Sobald die Scorecard grün ist, kann das Pilotprojekt selbst einem strukturierten Proof of Value über 30 bis 90 Tage folgen.

Was sollte eine Due-Diligence-Prüfung für medizinische KI ergeben?

Eine Due-Diligence-Prüfung für medizinische KI sollte eine Reihe von Dokumenten ergeben, die ein skeptischer interner Prüfer nachvollziehen kann, keine Folie mit dem Wort "freigegeben". Vor der Freigabe eines Pilotprojekts sollte der Käufer Folgendes in der Hand haben:

  • eine klar begrenzte Zweckbestimmung, einschließlich dessen, was ausgeschlossen ist;
  • ein Evidenzregister des Anbieters, das jede Aussage und das stützende Dokument auflistet;
  • die Annahmen zu regulatorischer Rolle und Klassifizierung, mit Angabe, wer sie bestätigt hat;
  • ein Diagramm der Patientendatenflüsse, das Speicherung, Protokollierung, Backups und Unterauftragsverarbeiter abdeckt;
  • eine Bewertung von Integration und Sicherheit;
  • einen Plan für die lokale Validierung;
  • ein Design der menschlichen Aufsicht, einschließlich Übersteuerung und Eskalation;
  • Kennzahlen für das Pilotprojekt, die Baseline und die Abbruchkriterien;
  • einen Plan für Monitoring und Change Control;
  • ein Risikoregister;
  • eine Analyse der kommerziellen und der Ausstiegskosten;
  • eine klare Go/No-Go-Entscheidung mit Verantwortlichen und den noch offenen Fragen.

Diese Dokumente überdauern das Pilotprojekt. Geht das System in den Regelbetrieb, werden dasselbe Register, dieselbe Datenübersicht und dasselbe Aufsichtsdesign zur Grundlage Ihrer Betreiberdokumentation und Ihrer Antworten an Auditoren, Ethikkommissionen und Patienten, die fragen, wie eine Entscheidung zustande kam. Teams, die sie während der Beschaffung erstellen, müssen sie später selten rekonstruieren. Wie das in ein KI-Programm im Gesundheitswesen passt, zeigt unser Bereich KI im Gesundheitswesen.

Welche 25 Fragen sollten Sie einem Anbieter medizinischer KI stellen?

Die 25 Fragen an einen Anbieter medizinischer KI, nach Bereichen gruppiert, damit Sie die Liste eigenständig in einem Anbietertermin verwenden können:

Zweckbestimmung

  1. Welche genaue klinische oder operative Entscheidung unterstützt das System?
  2. Wer ist der vorgesehene Anwender?
  3. Welche Patientenpopulation und welches Versorgungssetting sind abgedeckt?
  4. Was liegt ausdrücklich außerhalb der Zweckbestimmung?
  5. Welcher Ablauf, welche Kosten, Verzögerung oder welches Risiko soll sich verbessern, und um wie viel?

Regulatorische Einordnung

  1. Gilt das Produkt als Software mit Medizinproduktestatus nach MDR oder IVDR?
  2. Wie ist der Stand der Konformitätsbewertung oder Zertifizierung, und deckt sie unsere Nutzung ab?
  3. Sind Sie Anbieter im Sinne des EU AI Act und wir Betreiber?
  4. Welche Pflichten und welche Dokumentation verbleiben bei uns?

Evidenz

  1. Welche Datensätze, Standorte, Geräte, Zeiträume und Populationen wurden für die Evaluation verwendet?
  2. War die Evaluation extern, unabhängig, prospektiv oder multizentrisch?
  3. Liegen Ergebnisse für Subgruppen und Konfidenzintervalle vor?
  4. Wie verhält sich das System bei fehlenden, beschädigten oder außerhalb der Verteilung liegenden Eingaben?
  5. Wurde es in einem Setting validiert, das mit unserem vergleichbar ist?

Patientendaten

  1. Welche Daten verlassen unsere Organisation?
  2. Wo werden sie gespeichert, verarbeitet, protokolliert und gesichert?
  3. Werden unsere Daten für Training, Evaluation, Überwachung oder Produktverbesserung genutzt?
  4. Welche Unterauftragsverarbeiter haben Zugriff?
  5. Kann das System mit minimierten, de-identifizierten, synthetischen oder lokalen Daten arbeiten?

Architektur und Integration

  1. Wie wird es an unser KIS, PACS, DICOM, FHIR und unsere Identitätssysteme angebunden?
  2. Wie werden Zugriffsrechte durchgängig durchgesetzt?
  3. Was passiert bei Ausfall oder eingeschränktem Betrieb?
  4. Können wir Daten, Protokolle, Konfiguration und Informationen zur Modellversion exportieren?

Menschliche Aufsicht

  1. Kann der vorgesehene Anwender die Ausgabe verstehen, hinterfragen und übersteuern?
  2. Wie werden Unsicherheit, Übersteuerungen und Eskalationen kommuniziert und dokumentiert?

Auf welche Quellen stützt sich dieser Leitfaden?

Die regulatorischen Aussagen in diesem Leitfaden stützen sich auf primäre EU-Quellen und anerkannte Berichtsleitlinien für klinische KI, alle abgerufen am 11. Oktober 2026. Regulatorische Fristen ändern sich; prüfen Sie den aktuellen Text, bevor Sie sich auf ein Datum verlassen.

Häufige Fragen

Reicht eine CE-Kennzeichnung, um ein Pilotprojekt mit medizinischer KI freizugeben?

Nein. Eine CE-Kennzeichnung bestätigt das Konformitätsbewertungsverfahren für die angegebene Zweckbestimmung des Produkts. Sie zeigt weder die lokale Leistung in Ihrer Population noch die Passung zum Workflow, die Freigabe durch den Datenschutz, die Sicherheit oder die Integrationsreife. Ein Krankenhaus braucht weiterhin eine lokale Validierung, wo erforderlich eine Datenschutz-Folgenabschätzung, vertragliche Regelungen zu Daten und Updates und einen Monitoringplan, bevor es das System in echten Abläufen nutzt.

Welche Evidenz sollte ein Anbieter medizinischer KI liefern?

Ein Anbieter medizinischer KI sollte eine Beschreibung der Zweckbestimmung, die Herkunft der Datensätze, externe Validierung, Ergebnisse für Subgruppen mit Konfidenzintervallen, eine Fehleranalyse, klinische Evidenz für den behaupteten Nutzen, Sicherheitsdokumentation, eine Beschreibung der Datenflüsse, einen Monitoringplan und eine Versionshistorie liefern. Eine einzelne Genauigkeitskennzahl auf einem retrospektiven Datensatz reicht als Evidenz für ein klinisches Pilotprojekt nicht aus.

Muss ein Krankenhaus ein KI-System lokal validieren?

In der Regel ja. Die Leistung verschiebt sich mit Patientenmix, Geräten, Aufnahmeprotokollen, Prävalenz und Workflow, sodass Ergebnisse des Anbieters von anderen Standorten möglicherweise nicht übertragbar sind. Die Tiefe der lokalen Validierung sollte sich nach der Zweckbestimmung richten: Ein Tool zur Priorisierung einer Arbeitsliste braucht weniger als ein Triage- oder Diagnosetool. Vereinbaren Sie den Plan für die lokale Validierung und seine Schwelle vor Beginn des Pilotprojekts.

Darf ein Anbieter medizinischer KI Patientendaten zur Verbesserung seines Modells nutzen?

Nur wenn die Verarbeitung eine gültige Rechtsgrundlage und eine Bedingung nach Artikel 9 DSGVO hat, das Krankenhaus zugestimmt hat und der Vertrag dies ausdrücklich regelt. Viele Krankenhäuser untersagen das Training mit ihren Daten standardmäßig. Prüfen Sie den Auftragsverarbeitungsvertrag, nicht die Marketingseite, und denken Sie daran, dass pseudonymisierte Daten in der Regel personenbezogene Daten bleiben.

Wer ist für das Monitoring eines gekauften medizinischen KI-Systems verantwortlich?

Beide Seiten. Der Anbieter trägt als Hersteller und Anbieter im Sinne des AI Act die Pflichten zur Überwachung nach dem Inverkehrbringen, zur Vigilanz und zu Updates. Das Krankenhaus muss als Betreiber das System gemäß Anleitung nutzen, seinen Betrieb überwachen, Protokolle aufbewahren, kompetente menschliche Aufsicht zuweisen und Probleme an den Anbieter melden. Der Vertrag sollte festlegen, wer was beobachtet und welche Schwellen eine Untersuchung oder Aussetzung auslösen.

Was sollte ein Krankenhaus veranlassen, ein KI-Pilotprojekt abzubrechen?

Ein Krankenhaus sollte ein KI-Pilotprojekt abbrechen, wenn ein vorab vereinbartes Abbruchkriterium erfüllt ist: eine ungeklärte Rechtsgrundlage für Patientendaten, fehlende Evidenz für die vorgesehene Population, nicht prüfbare Ausgaben, keine wirksame Übersteuerung, eine unangekündigte Modelländerung, Sicherheits- oder Integrationsrisiken jenseits der Toleranz oder keine messbare Verbesserung gegenüber der Baseline. Legen Sie diese Kriterien vor Beginn des Pilotprojekts fest.

Sie bewerten einen Anbieter medizinischer KI?

Ein Regulated AI Readiness Audit prüft unabhängig den geplanten Anwendungsfall, die Evidenz des Anbieters, die Patientendatenflüsse, die Integrationsrisiken, die Validierungsanforderungen und das Design des Pilotprojekts, bevor Sie Budget binden oder das System in einen klinischen Ablauf einführen.

Mit einem Regulated AI Readiness Audit starten Unser Bereich KI im Gesundheitswesen
SAI

Sitnik AI

Angewandte KI-Beratung für Teams im Gesundheitswesen und in der Fertigung. Geleitet von einem promovierten Informatiker und ehemaligen CTO, mit Forschung in medizinischer Bildgebung und produktiven KI-Systemen.

Bereit loszulegen?

Buchen Sie eine kostenlose Beratung, um Ihr KI-Projekt zu besprechen.