AI Act und Informationssicherheit: Was du über die KI-Verordnung wissen musst

Warum der AI Act für die Informationssicherheit relevant ist

Wenn du als ISB oder Informationssicherheitsverantwortlicher arbeitest, denkst du beim AI Act vielleicht zunächst: "Das ist ein Thema für die KI-Entwickler und die Rechtsabteilung, nicht für mich." Diese Einschätzung ist nachvollziehbar, aber falsch.

Der AI Act enthält explizite Cybersicherheitsanforderungen für KI-Systeme. Er verlangt, dass Hochrisiko-KI-Systeme robust gegenüber Angriffen sind, und er adressiert KI-spezifische Bedrohungen wie Adversarial Attacks, Data Poisoning und Model Extraction, die in klassischen ISMS-Risikobewertungen bisher nicht vorkommen. Gleichzeitig nutzen immer mehr Unternehmen KI-Tools im Arbeitsalltag, von ChatGPT über KI-gestützte Datenanalyse bis zu automatisierten Entscheidungssystemen, und schaffen damit neue Risiken, die das ISMS abbilden muss.

Der AI Act betrifft dich in mindestens drei Rollen: Als Verantwortlicher für die Sicherheit der IT-Systeme im Unternehmen (einschließlich KI-Systeme), als Risikomanager, der KI-spezifische Bedrohungen bewerten muss, und als Berater der Geschäftsführung, die über den Einsatz von KI-Systemen entscheidet.

Der AI Act im Überblick

Der AI Act (Verordnung (EU) 2024/1689) wurde am 12. Juli 2024 im Amtsblatt der EU veröffentlicht und trat am 1. August 2024 in Kraft. Die vollständige Anwendbarkeit erfolgt schrittweise.

Zeitplan

• 2. Februar 2025: Verbote für unzulässige KI-Praktiken gelten
• 2. August 2025: Anforderungen an KI-Modelle mit allgemeinem Verwendungszweck (GPAI) gelten, einschließlich Pflichten für Anbieter wie OpenAI, Google und Anthropic
• 2. August 2026: Die meisten Anforderungen gelten vollständig, einschließlich der Regeln für Hochrisiko-KI-Systeme
• 2. August 2027: Anforderungen für Hochrisiko-KI-Systeme, die in andere EU-regulierte Produkte eingebettet sind

Was ist ein KI-System?

Der AI Act definiert ein KI-System als ein maschinengestütztes System, das mit unterschiedlichem Grad an Autonomie operiert und das explizite oder implizite Ziele verfolgt, um Ausgaben wie Vorhersagen, Empfehlungen, Entscheidungen oder Inhalte zu generieren, die physische oder virtuelle Umgebungen beeinflussen können.

Diese Definition ist bewusst breit gefasst und umfasst nicht nur die offensichtlichen KI-Anwendungen (Large Language Models, Bildgeneratoren, autonome Systeme), sondern auch viele Systeme, die du möglicherweise nicht als "KI" bezeichnen würdest: Algorithmen für die Kreditwürdigkeitsprüfung, automatisierte Lebenslauf-Screening-Tools, prädiktive Wartungssysteme oder Betrugserkennung im Zahlungsverkehr.

Die vier Risikoklassen

Der AI Act folgt einem risikobasierten Ansatz. Je höher das Risiko eines KI-Systems für die Grundrechte und die Sicherheit von Personen, desto strenger die Anforderungen.

Verbotene KI-Praktiken (Artikel 5)

Bestimmte KI-Anwendungen sind vollständig verboten, weil sie als unvereinbar mit europäischen Werten gelten:

• Manipulative Techniken: KI-Systeme, die unterschwellige Techniken oder manipulative Methoden einsetzen, um das Verhalten von Personen so zu beeinflussen, dass ihnen Schaden entsteht
• Ausnutzung von Vulnerabilitäten: KI-Systeme, die Schwachstellen bestimmter Gruppen (Alter, Behinderung, soziale Situation) gezielt ausnutzen
• Social Scoring: Bewertung von Personen basierend auf ihrem Sozialverhalten, die zu ungerechtfertigter Benachteiligung führt
• Biometrische Echtzeit-Fernidentifizierung: Im öffentlichen Raum durch Strafverfolgungsbehörden (mit engen Ausnahmen)
• Emotionserkennung: Am Arbeitsplatz und in Bildungseinrichtungen
• Biometrische Kategorisierung: Auf Basis sensibler Merkmale (Rasse, politische Meinung, Gewerkschaftszugehörigkeit, religiöse Überzeugung, Sexualleben)
• Ungezielte Gesichtserkennungsdatenbanken: Aufbau von Gesichtserkennungsdatenbanken durch ungezieltes Scraping von Bildern aus dem Internet oder aus Überwachungskameras

Für den ISB ist relevant: Wenn dein Unternehmen KI-Systeme einsetzt, die unter eines dieser Verbote fallen könnten, musst du das eskalieren. Die Verbote gelten seit Februar 2025, und Verstöße werden mit Bußgeldern von bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes geahndet.

Hochrisiko-KI-Systeme (Artikel 6 und Anhang III)

Hochrisiko-KI-Systeme sind der Kern des AI Act. Sie unterliegen den umfassendsten Anforderungen. Ein KI-System gilt als Hochrisiko, wenn es in einem der folgenden Bereiche eingesetzt wird:

• Biometrie: Biometrische Fernidentifizierung, biometrische Kategorisierung und Emotionserkennung (soweit nicht verboten)
• Kritische Infrastruktur: Sicherheitskomponenten im Straßenverkehr, in der Wasser-, Gas-, Strom- und Wärmeversorgung und in der digitalen Infrastruktur
• Bildung: Zugang zu Bildungseinrichtungen, Bewertung von Lernleistungen, Überwachung von Prüfungen
• Beschäftigung: Rekrutierung, Leistungsbewertung, Beförderungsentscheidungen, Aufgabenzuweisung basierend auf individuellem Verhalten
• Zugang zu wesentlichen Dienstleistungen: Kreditwürdigkeitsprüfung, Risikobewertung für Versicherungen, Bewertung im Notrufdienst
• Strafverfolgung: Risikobewertung für Straftäter, Lügendetektoren, Beweiswürdigung
• Migration: Risikobewertung bei Grenzkontrollen, Asylverfahren
• Justiz: Unterstützung bei gerichtlichen Entscheidungen

Zusätzlich gelten KI-Systeme als Hochrisiko, wenn sie als Sicherheitskomponente in Produkte eingebettet sind, die unter bestimmte EU-Harmonisierungsrechtsvorschriften fallen (Maschinenverordnung, Medizinprodukteverordnung, Spielzeugverordnung und andere).

Systeme mit begrenztem Risiko (Transparenzpflichten)

Bestimmte KI-Systeme unterliegen Transparenzpflichten, auch wenn sie nicht als Hochrisiko eingestuft sind:

• Chatbots und virtuelle Assistenten: Nutzer müssen darüber informiert werden, dass sie mit einem KI-System interagieren
• Deepfakes: KI-generierte oder manipulierte Bild-, Audio- oder Videoinhalte müssen als solche gekennzeichnet werden
• KI-generierte Texte: Texte, die zu Informationszwecken zu Themen von öffentlichem Interesse veröffentlicht werden, müssen als KI-generiert gekennzeichnet sein

Systeme mit minimalem Risiko

Alle übrigen KI-Systeme (die große Mehrheit) unterliegen keinen spezifischen Anforderungen. Der AI Act ermutigt Anbieter aber zur freiwilligen Anwendung von Verhaltenskodizes.

Anforderungen an Hochrisiko-KI-Systeme

Für Hochrisiko-KI-Systeme definiert der AI Act in den Artikeln 9 bis 15 umfassende Anforderungen. Hier sind die für die Informationssicherheit relevantesten.

Risikomanagementsystem (Artikel 9)

Anbieter von Hochrisiko-KI-Systemen müssen ein Risikomanagementsystem einrichten, das den gesamten Lebenszyklus des Systems abdeckt. Dieses System muss: Risiken identifizieren und analysieren, die mit dem KI-System verbunden sind, Risikominderungsmaßnahmen definieren und umsetzen, Restrisiken bewerten und kommunizieren, und Tests durchführen, um die Wirksamkeit der Maßnahmen zu überprüfen.

Für den ISB ergibt sich eine natürliche Integration: Das KI-Risikomanagement sollte Teil des ISMS-Risikomanagements sein, nicht ein separates System. Die Methodik kann die gleiche sein (Asset-Bewertung, Bedrohungsanalyse, Risikobehandlung), aber die Risikokataloge müssen um KI-spezifische Szenarien erweitert werden.

Datenqualität und Data Governance (Artikel 10)

Die Trainings-, Validierungs- und Testdaten für Hochrisiko-KI-Systeme müssen bestimmte Qualitätskriterien erfüllen: Sie müssen relevant, repräsentativ, möglichst fehlerfrei und vollständig sein. Die Datenerhebung und -verarbeitung muss den Datenschutzvorschriften entsprechen.

Aus Sicht der Informationssicherheit stellen Trainingsdaten ein besonders sensibles Asset dar. Die Klassifizierung solcher Daten ist dabei der erste Schritt. Wenn Angreifer Zugriff auf die Trainingsdaten erhalten, können sie das Modell manipulieren (Data Poisoning) oder vertrauliche Informationen extrahieren, die in den Daten enthalten sind. Das ISMS muss Trainingsdaten als schützenswerte Assets erfassen und angemessene Schutzmaßnahmen definieren.

Cybersicherheit und Robustheit (Artikel 15)

Artikel 15 enthält die expliziten Cybersicherheitsanforderungen des AI Act. Hochrisiko-KI-Systeme müssen ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit aufweisen und während ihres gesamten Lebenszyklus konsistent funktionieren.

Robustheit gegen Fehler und Inkonsistenzen. KI-Systeme müssen robust gegenüber Fehlern, Störungen und Inkonsistenzen in der Umgebung sein, in der sie eingesetzt werden. Technische Redundanz, Fail-Safe-Mechanismen und Fallback-Lösungen sind Teil dieser Anforderung.

Resilienz gegen KI-spezifische Angriffe. Dies ist der für die Informationssicherheit relevanteste Punkt. Hochrisiko-KI-Systeme müssen widerstandsfähig sein gegen:

• Adversarial Attacks: Gezielte Eingaben, die das KI-System zu falschen Ausgaben verleiten (zum Beispiel ein leicht modifiziertes Bild, das ein Bilderkennungssystem täuscht)
• Data Poisoning: Manipulation der Trainingsdaten, um das Verhalten des KI-Systems zu verändern
• Model Extraction: Versuche, das KI-Modell oder seine Trainingsdaten durch gezielte Abfragen zu rekonstruieren
• Model Inversion: Versuche, aus den Ausgaben des KI-Systems Informationen über die Trainingsdaten abzuleiten

Diese Angriffsvektoren sind für die meisten ISBs Neuland. Sie erfordern ein Verständnis für die spezifischen Funktionsweisen von KI-Systemen und die Zusammenarbeit mit KI-Entwicklern und Data Scientists.

Menschliche Aufsicht (Artikel 14)

Hochrisiko-KI-Systeme müssen so gestaltet sein, dass sie von natürlichen Personen wirksam überwacht werden können. Die Aufsichtspersonen müssen die Fähigkeiten und Grenzen des Systems verstehen, Anomalien erkennen können und in der Lage sein, die Nutzung des Systems zu unterbrechen oder seine Ausgaben zu übersteuern.

Anbieter vs. Betreiber: Wer ist wofür verantwortlich?

Der AI Act unterscheidet zwischen Anbietern (die KI-Systeme entwickeln und auf den Markt bringen) und Betreibern (die KI-Systeme in ihrem Unternehmen einsetzen). Beide haben Pflichten, aber in unterschiedlichem Umfang.

Pflichten der Anbieter

Anbieter von Hochrisiko-KI-Systemen tragen die Hauptlast der Compliance: Risikomanagementsystem einrichten, Konformitätsbewertung durchführen, technische Dokumentation erstellen, CE-Kennzeichnung anbringen, Post-Market-Monitoring durchführen und schwerwiegende Vorfälle melden.

Pflichten der Betreiber

Betreiber (Deployers) haben weniger umfassende, aber dennoch substanzielle Pflichten:

• Verwendung gemäß Gebrauchsanweisung: Betreiber müssen Hochrisiko-KI-Systeme gemäß der Gebrauchsanweisung des Anbieters einsetzen
• Menschliche Aufsicht: Betreiber müssen sicherstellen, dass kompetente Personen die KI-Systeme überwachen
• Eingabedatenqualität: Betreiber sind für die Qualität der Eingabedaten verantwortlich
• Überwachung und Meldung: Betreiber müssen den Betrieb überwachen und Vorfälle oder Fehlfunktionen an den Anbieter und ggf. die Aufsichtsbehörde melden
• Datenschutz-Folgenabschätzung: Für bestimmte Hochrisiko-KI-Systeme müssen Betreiber eine Datenschutz-Folgenabschätzung durchführen
• Grundrechte-Folgenabschätzung: Bestimmte Betreiber (öffentliche Einrichtungen, private Betreiber öffentlicher Dienste) müssen eine Grundrechte-Folgenabschätzung durchführen

Wann wird ein Betreiber zum Anbieter?

Eine kritische Unterscheidung: Wenn ein Betreiber ein KI-System wesentlich verändert (zum Beispiel ein vortrainiertes Modell für einen neuen Verwendungszweck anpasst oder Fine-Tuning durchführt), kann er rechtlich zum Anbieter werden und damit die vollen Anbieterpflichten übernehmen. Das ist relevant, wenn dein Unternehmen KI-Modelle anpasst oder eigene KI-Lösungen auf Basis von Drittanbieter-Plattformen entwickelt.

Was der AI Act für dein ISMS bedeutet

KI-Systeme als Assets erfassen

Der erste Schritt: Erstelle ein Inventar aller KI-Systeme, die in deinem Unternehmen eingesetzt oder entwickelt werden. Das umfasst nicht nur offensichtliche KI-Anwendungen, sondern auch eingebettete KI-Funktionen in bestehender Software (zum Beispiel KI-gestützte Betrugserkennung im ERP-System, KI-basierte Spam-Filter, prädiktive Funktionen in CRM-Systemen).

Für jedes KI-System dokumentiere: den Verwendungszweck, den Anbieter, die Risikoklasse nach AI Act, die verarbeiteten Daten, die Nutzer und die Verantwortlichkeiten. In ISMS Lite lassen sich KI-Systeme als eigene Asset-Kategorie erfassen und direkt mit der Risikobewertung verknüpfen.

KI-spezifische Risiken bewerten

Erweitere deine Risikobewertung um KI-spezifische Szenarien:

• Datenabfluss an KI-Dienste: Mitarbeiter geben vertrauliche Unternehmensdaten in ChatGPT, Copilot oder ähnliche Dienste ein — ein typisches Shadow-IT-Problem
• Adversarial Attacks auf geschäftskritische KI-Systeme: Ein Angreifer manipuliert die Eingaben einer KI-gestützten Kreditprüfung
• Bias und Diskriminierung: Ein KI-gestütztes Recruiting-Tool benachteiligt bestimmte Bewerbergruppen
• Halluzinationen und Fehlinformationen: Ein KI-generierter Bericht enthält falsche Informationen, die in Geschäftsentscheidungen einfließen
• Abhängigkeit von KI-Drittanbietern: Der Anbieter einer geschäftskritischen KI-Funktion ändert seine AGB, erhöht die Preise oder stellt den Dienst ein

KI-Richtlinie erstellen

Erstelle eine KI-Richtlinie, die regelt: Welche KI-Tools dürfen im Unternehmen genutzt werden? Welche Daten dürfen in welche KI-Dienste eingegeben werden? Wer genehmigt den Einsatz neuer KI-Systeme? Wie werden KI-Ausgaben verifiziert? Welche Transparenzpflichten gelten?

Die KI-Richtlinie sollte als eigenständiges Dokument oder als Erweiterung der bestehenden IT-Nutzungsrichtlinie erstellt werden. Sie muss regelmäßig aktualisiert werden, weil sich die KI-Landschaft schnell verändert.

Zusammenarbeit mit Data Science und Entwicklung

Wenn dein Unternehmen eigene KI-Systeme entwickelt, musst du als ISB eng mit den Data Scientists und Entwicklern zusammenarbeiten. Die Cybersicherheitsanforderungen des AI Act (Artikel 15) erfordern technisches Know-how, das typischerweise nicht beim ISB liegt. Definiere klare Schnittstellen: Der ISB definiert die Sicherheitsanforderungen, die KI-Entwickler setzen sie um, und das ISMS überwacht die Einhaltung.

Sanktionen

Die Bußgelder unter dem AI Act sind gestaffelt:

• Bis zu 35 Millionen Euro oder 7 Prozent des Umsatzes für Verstöße gegen die Verbote
• Bis zu 15 Millionen Euro oder 3 Prozent des Umsatzes für Verstöße gegen andere Anforderungen
• Bis zu 7,5 Millionen Euro oder 1 Prozent des Umsatzes für die Bereitstellung unrichtiger Informationen

Für KMU und Start-ups gelten reduzierte Bußgelder (der jeweils niedrigere Betrag der beiden Alternativen).

Weiterführende Artikel

• KI und Cybersicherheit: Chancen und neue Angriffsvektoren
• DORA für den Finanzsektor: Was kommt nach NIS2?
• Cyber Resilience Act: Neue Pflichten für Hersteller von Produkten mit digitalen Elementen
• Risikobewertung im ISMS: Methodik, Vorgehensweise und Praxistipps
• Informationssicherheitsrichtlinie erstellen: Aufbau, Inhalte und Praxistipps