Wie Sie Ihr KI-System nach dem Risikoframework des EU AI Act einstufen

Der risikobasierte Ansatz des EU AI Act bedeutet, dass für verschiedene KI-Systeme unterschiedliche Anforderungen gelten. Ein Spam-Filter und ein Recruiting-Algorithmus werden sehr unterschiedlich behandelt, und das aus gutem Grund. Die korrekte Einstufung des eigenen KI-Systems ist allerdings schwieriger, als es klingt.

Stufen Sie in die eine Richtung falsch ein, investieren Sie Ressourcen in Compliance, die gar nicht gefordert ist. Stufen Sie in die andere Richtung falsch ein, drohen Bußgelder von bis zu €15 Millionen oder 3% des weltweiten Umsatzes.

Dieser Leitfaden führt Sie Schritt für Schritt durch den Einstufungsprozess. Die Einstufung ist dabei nur die halbe Miete: Die meisten Systeme, die unter den Act fallen, verarbeiten auch personenbezogene Daten. Lesen Sie ihn deshalb zusammen mit unserem Beitrag dazu, wo sich DSGVO und EU AI Act überschneiden und widersprechen.

Die vier Risikokategorien

1. Inakzeptables Risiko - verboten

Einige KI-Praktiken gelten als inakzeptables Risiko für die Grundrechte und sind vollständig untersagt. Diese Verbote gelten seit dem 2. Februar 2025.

Zu den verbotenen Praktiken zählen:

• Social-Scoring-Systeme durch öffentliche Stellen
• Biometrische Echtzeit-Fernidentifizierung im öffentlichen Raum (mit eng gefassten Ausnahmen für die Strafverfolgung)
• Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen
• KI-Systeme, die Verhalten durch unterschwellige Techniken manipulieren
• Ausnutzung von Schutzbedürftigkeit aufgrund von Alter, Behinderung oder sozialer Lage
• Ungezieltes Auslesen von Gesichtsbildern aus dem Internet oder aus Videoüberwachung
• Biometrische Kategorisierung, die sensible Merkmale ableitet (Ethnie, politische Meinungen, sexuelle Orientierung)

Maßnahme: Fällt eines Ihrer KI-Systeme in diese Kategorien, muss es unverzüglich eingestellt werden. Es gibt keine Übergangsfristen und keine Ausnahmen.

2. Hochrisiko - strenge Anforderungen

Hochrisiko-KI-Systeme unterliegen umfassenden Anforderungen, darunter Risikomanagement, Daten-Governance, technische Dokumentation, Transparenz, menschliche Aufsicht und Genauigkeitsstandards. Die vollständige Compliance ist bis zum 2. Dezember 2027 für eigenständige Hochrisikosysteme nach Anhang III herzustellen und bis zum 2. August 2028 für Hochrisiko-KI, die selbst ein Produkt oder ein Sicherheitsbauteil eines Produkts ist, welches bereits unter EU-Produktsicherheitsrecht fällt. Der Digital Omnibus hat den Begriff des Sicherheitsbauteils zudem enger gefasst, sodass ein rein sicherheitsfremd genutztes KI-System nicht allein deshalb hochriskant wird, weil es in einem regulierten Produkt steckt, es sei denn, sein Ausfall oder seine Fehlfunktion würde Gesundheit und Sicherheit gefährden.

Ein KI-System gilt als Hochrisiko-System, wenn es in eine von zwei Kategorien fällt:

Kategorie A: KI als Sicherheitsbauteil oder als Produkt selbst

KI-Systeme, die Sicherheitsbauteile von Produkten sind, die bereits unter EU-Harmonisierungsrechtsvorschriften fallen, oder die selbst solche Produkte darstellen. Dazu gehört KI in:

• Medizinprodukten (MDR/IVDR)
• Maschinen (Maschinenverordnung)
• Spielzeug (Spielzeugrichtlinie)
• Aufzügen, Druckgeräten
• Funkanlagen
• Zivilluftfahrt
• Kraftfahrzeugen
• Schiffsausrüstung

Kategorie B: KI in den Hochrisikobereichen nach Anhang III

KI-Systeme, die in den in Anhang III des Act genannten Bereichen eingesetzt werden:

• Biometrische Identifizierung: Systeme zur biometrischen Fernidentifizierung (nicht in Echtzeit)
• Kritische Infrastruktur: KI zur Steuerung von Strom, Gas, Wasser, Wärme und digitaler Infrastruktur
• Bildung: KI, die über den Zugang zu Bildung entscheidet, Lernergebnisse bewertet, angemessene Bildungsniveaus einschätzt oder unzulässiges Verhalten während Prüfungen überwacht
• Beschäftigung: KI für Recruiting, das Screening von Kandidaten, die Bewertung von Bewerbungen, Beförderungs- und Kündigungsentscheidungen, die Zuweisung von Aufgaben und die Leistungsüberwachung
• Grundlegende Dienste: KI zur Bewertung der Kreditwürdigkeit, zur Einschätzung von Versicherungsrisiken und zur Preisbildung, zur Prüfung von Ansprüchen auf Sozialleistungen sowie zur Disposition von Notdiensten
• Strafverfolgung: KI für individuelle Risikobewertungen, als Alternative zum Polygraphen, zur Bewertung der Verlässlichkeit von Beweismitteln und zum Profiling in Ermittlungsverfahren
• Migration und Grenzkontrolle: KI zur Bewertung von Migrationsrisiken, zur Prüfung von Visum- und Asylanträgen und zur Erkennung gefälschter Reisedokumente
• Justiz und Demokratie: KI, die Justizbehörden bei der Ermittlung und Auslegung von Sachverhalten und Recht unterstützt

3. Begrenztes Risiko - Transparenzpflichten

KI-Systeme mit begrenztem Risiko unterliegen ausschließlich Transparenzpflichten. Nutzer müssen darüber informiert werden, dass sie mit KI interagieren. Das gilt für:

• Chatbots: müssen klar offenlegen, dass sie KI-gestützt sind
• Deepfakes: KI-generierte oder manipulierte Bild-, Video- und Audioinhalte müssen als künstlich erzeugt gekennzeichnet werden
• Emotionserkennung: wo sie nicht verboten ist, müssen Systeme die Nutzer über den Einsatz der Emotionserkennung informieren
• Biometrische Kategorisierung: wo sie nicht verboten ist, müssen Systeme die Nutzer informieren

4. Minimales Risiko - keine besonderen Pflichten

Die große Mehrheit der KI-Systeme fällt hierunter. Beispiele sind Spam-Filter, KI in Videospielen, Systeme zur Bestandsverwaltung und Empfehlungsalgorithmen für nicht wesentliche Dienste. Es gelten keine spezifischen regulatorischen Pflichten, freiwillige Verhaltenskodizes werden jedoch empfohlen.

Der Einstufungsprozess Schritt für Schritt

Schritt 1: Handelt es sich um ein KI-System?

Der AI Act definiert ein KI-System als "ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist, das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können".

Erfüllt Ihr System diese Definition nicht (etwa eine einfache regelbasierte Automatisierung ohne jede Ableitungsfähigkeit), findet der AI Act keine Anwendung.

Schritt 2: Auf verbotene Praktiken prüfen

Gehen Sie die Liste der Praktiken mit inakzeptablem Risiko durch. Seien Sie dabei gründlich, denn manche Verbote reichen weiter, als es zunächst erscheint. "Emotionserkennung am Arbeitsplatz" umfasst beispielsweise nicht nur dedizierte Emotions-KI, sondern jedes System, das nebenbei emotionale Zustände aus Überwachungsdaten am Arbeitsplatz ableitet.

Schritt 3: Die Hochrisikokategorien in Anhang III prüfen

Gleichen Sie den Anwendungsfall Ihres KI-Systems mit den Kategorien in Anhang III ab. Achten Sie auf die genaue Formulierung: "KI-Systeme, die bestimmungsgemäß verwendet werden sollen für" bedeutet, dass es auf die Zweckbestimmung ankommt und nicht auf die theoretische Leistungsfähigkeit.

Wichtige Nuance: Ein KI-System ist NICHT automatisch ein Hochrisiko-System, nur weil es in Anhang III aufgeführt ist. Der Act sieht eine Ausnahme vor: Ein System aus Anhang III gilt nicht als Hochrisiko-System, wenn es kein erhebliches Risiko der Beeinträchtigung von Gesundheit, Sicherheit oder Grundrechten birgt. Das gilt, wenn das KI-System:

• eine eng begrenzte Verfahrensaufgabe erfüllt
• das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit verbessert
• Entscheidungsmuster erkennt, ohne die menschliche Bewertung zu ersetzen
• eine vorbereitende Aufgabe für eine Bewertung erfüllt, die für den Anwendungsfall relevant ist

Berufen Sie sich auf diese Ausnahme, müssen Sie Ihre Begründung allerdings dokumentieren.

Schritt 4: Produktsicherheitsrecht prüfen

Ist Ihr KI-System ein Sicherheitsbauteil eines Produkts, das unter EU-Harmonisierungsrechtsvorschriften fällt, oder ist es selbst ein solches Produkt, dann handelt es sich um ein Hochrisiko-System nach Kategorie A. Prüfen Sie, ob Ihr Produkt unter eine der aufgeführten EU-Richtlinien und -Verordnungen fällt.

Schritt 5: GPAI-Einstufung bestimmen

Ist Ihr System ein KI-Modell mit allgemeinem Verwendungszweck (GPAI, etwa ein LLM) oder nutzt es ein solches, gelten zusätzliche Regeln. GPAI-Anbieter müssen seit dem 2. August 2025 Transparenzpflichten erfüllen. Für GPAI-Modelle mit systemischem Risiko (trainiert mit >10²⁵ FLOPs) gelten weitere Anforderungen.

Schritt 6: Ihre Einstufung dokumentieren

Unabhängig vom Ergebnis der Einstufung sollten Sie die Analyse dokumentieren. Enthalten sein sollten:

• Systembeschreibung und Zweckbestimmung
• Begründung der Einstufung mit Verweis auf die konkreten Bestimmungen des Act
• bei Berufung auf die Ausnahme nach Anhang III eine ausführliche Begründung
• Datum der Bewertung und verantwortliche Person
• Plan für eine Neubewertung, falls sich die Verwendung des Systems ändert

Häufige Fehler bei der Einstufung

Fehler 1: Einstufung nach Technologie statt nach Verwendung

Der AI Act stuft nach der Zweckbestimmung ein, nicht nach der Technologie. Ein neuronales Netz zur Spam-Filterung ist ein minimales Risiko. Dieselbe Architektur im Bewerber-Screening ist Hochrisiko. Gehen Sie nicht davon aus, dass Ihre Technologieart die Einstufung bestimmt.

Fehler 2: Nachgelagerte Verwendungen ignorieren

Stellen Sie ein KI-System bereit, das ein Kunde für einen Hochrisikozweck einsetzt, kann die Hochrisiko-Einstufung auch für Sie als Anbieter gelten. Berücksichtigen Sie alle vernünftigerweise vorhersehbaren Verwendungen Ihres Systems.

Fehler 3: Annehmen, "nur intern" bedeute ausgenommen

Ein KI-System nur intern zu nutzen, befreit Sie nicht vom Act. Ein interner Recruiting-Algorithmus bleibt Hochrisiko. Ein internes Kreditscoring-Modell für Mitarbeiterdarlehen bleibt Hochrisiko.

Fehler 4: Sicherheitshalber zu hoch einstufen

Alles "sicherheitshalber" als Hochrisiko zu behandeln, verschwendet Ressourcen. Die Anforderungen an Konformitätsbewertung, Dokumentation und laufende Überwachung von Hochrisiko-Systemen sind erheblich. Eine treffsichere Einstufung spart erheblich Zeit und Geld.

Was folgt nach der Einstufung?

Sobald Sie Ihr KI-System eingestuft haben, ergeben sich die Pflichten unmittelbar aus der Kategorie, und hier beginnt die strukturierte Arbeit an EU AI Act Compliance:

• Minimales Risiko: keine besonderen Pflichten, freiwillige Verhaltenskodizes sind aber eine Überlegung wert
• Begrenztes Risiko: Transparenzmaßnahmen umsetzen (Kennzeichnungen, Hinweise an die Nutzer)
• Hochrisiko: die Konformitätsbewertung starten: Risikomanagementsystem, Daten-Governance, technische Dokumentation, menschliche Aufsicht, Genauigkeitsprüfungen und Cybersicherheitsmaßnahmen
• Inakzeptables Risiko: das System unverzüglich einstellen

Häufige Fragen

Was, wenn unser System zwischen zwei Risikoklassen liegt?

Stufen Sie konservativ ein, dokumentieren Sie die Begründung und holen Sie für dieses System eine fachliche Prüfung ein. Wirklich mehrdeutige Fälle sind die Minderheit, und sie zu isolieren ist der Zweck: So fließt Expertenzeit in die wenigen Fälle statt in das ganze Inventar.

Muss die Einstufung bei Änderungen wiederholt werden?

Ja. Eine geänderte Zweckbestimmung, eine neu automatisierte Entscheidung oder ein neuer Einsatzkontext können die Stufe verschieben. Behandeln Sie die Einstufung als Feld im Systeminventar mit einem Prüfauslöser, nicht als einmalige, abgelegte Übung.

Wer im Unternehmen sollte die Einstufung verantworten?

Wer das Systeminventar führt, üblicherweise mit Zuarbeit von Recht und dem Produkt- oder Prozessverantwortlichen. Der Fehler ist, sie allein der Rechtsabteilung zu überlassen, die nicht sieht, was die Systeme tun, oder allein der Technik, die den regulatorischen Rahmen nicht verfolgt.

Ist ein Modell mit allgemeinem Verwendungszweck wie ein LLM automatisch Hochrisiko?

Nein. Solche Modelle tragen eigene Anbieterpflichten, die von der Hochrisikostufe getrennt sind. Ob Ihre darauf gebaute Anwendung hochriskant ist, hängt davon ab, was diese Anwendung tut, nicht vom Modell darunter.