KI-Sicherheit: Ein unterschätztes Risiko
KI-Systeme bringen neue Sicherheitsrisiken mit sich, die über klassische IT-Security hinausgehen. Als CAIO müssen Sie diese verstehen und adressieren.
Ein Warnbeispiel: Bei einem Kunden landeten versehentlich Kundendaten im Prompt eines externen LLM-Dienstes. Erst durch diesen Vorfall wurde Budget für eine Private-Cloud-Lösung freigegeben. Besser: Proaktiv handeln.
Die Sicherheitslandschaft für KI-Systeme
Angriffsvektoren auf KI-Systeme
1. Data Poisoning
Angreifer manipulieren Trainingsdaten, um das Modellverhalten zu beeinflussen.
Beispiel: Gezielte Falschlabels in Trainingsdaten führen dazu, dass ein Spam-Filter bestimmte Spam-Mails durchlässt.
Gegenmaßnahmen:
- Datenherkunft validieren
- Anomalieerkennung in Trainingsdaten
- Regelmäßige Modell-Audits
2. Model Inversion
Aus Modell-Outputs werden sensible Trainingsdaten rekonstruiert.
Beispiel: Aus einem Gesichtserkennungsmodell werden Gesichtsbilder aus dem Trainingsset extrahiert.
Gegenmaßnahmen:
- Differential Privacy
- Output-Rounding
- Zugangsbeschränkungen auf Modelle
3. Adversarial Attacks
Speziell konstruierte Inputs täuschen das Modell.
Beispiel: Ein leicht verändertes Bild wird vom Modell völlig falsch klassifiziert, obwohl Menschen den Unterschied nicht sehen.
Gegenmaßnahmen:
- Adversarial Training
- Input-Validierung
- Ensemble-Modelle
4. Prompt Injection
Bei LLMs: Manipulation durch speziell konstruierte Prompts.
Beispiel: Ein Nutzer bringt einen Chatbot dazu, seine Systemanweisungen zu ignorieren und sensible Informationen preiszugeben.
Gegenmaßnahmen:
- Strikte Input-Validierung
- Output-Filterung
- Prompt-Hardening
5. Model Stealing
Durch viele Anfragen wird ein proprietäres Modell nachgebaut.
Gegenmaßnahmen:
- Rate Limiting
- Monitoring ungewöhnlicher Anfragemuster
- Wasserzeichen in Modell-Outputs
Datenschutz und DSGVO bei KI
Grundprinzipien
Die DSGVO gilt uneingeschränkt für KI-Systeme, die personenbezogene Daten verarbeiten:
1. Rechtmäßigkeit der Verarbeitung (Art. 6)
Für das Training und den Einsatz von KI brauchen Sie eine Rechtsgrundlage:
- Einwilligung
- Vertragserfüllung
- Berechtigtes Interesse (mit Interessenabwägung)
2. Zweckbindung (Art. 5)
Daten dürfen nur für den ursprünglich definierten Zweck verwendet werden. Wenn Sie Kundendaten für ein neues KI-Modell nutzen wollen, prüfen Sie die Kompatibilität.
3. Datenminimierung (Art. 5)
Nur notwendige Daten verarbeiten. Brauchen Sie wirklich alle Felder für das Training?
4. Transparenz (Art. 13, 14)
Betroffene müssen über KI-Verarbeitung informiert werden.
5. Auskunftsrecht (Art. 15)
Betroffene können Auskunft verlangen, auch über KI-basierte Entscheidungen.
Automatisierte Einzelentscheidungen (Art. 22)
Besonders relevant für KI:
Betroffene haben das Recht, nicht einer ausschließlich auf automatisierter Verarbeitung beruhenden Entscheidung unterworfen zu werden.
Ausnahmen:
- Vertragserfüllung (mit geeigneten Schutzmaßnahmen)
- Gesetzliche Ermächtigung
- Ausdrückliche Einwilligung
Pflichten:
- Menschliche Überprüfung ermöglichen
- Logik der Entscheidung erklären können
- Anfechtungsmöglichkeit bieten
Praktische Compliance-Maßnahmen
Datenschutz-Folgenabschätzung (DSFA)
Für Hochrisiko-KI-Anwendungen ist eine DSFA Pflicht:
- Beschreibung: Was macht das KI-System?
- Notwendigkeit: Ist die Verarbeitung erforderlich?
- Risikobewertung: Welche Risiken für Betroffene?
- Maßnahmen: Wie werden Risiken minimiert?
Privacy by Design
Datenschutz von Anfang an einbauen:
- Anonymisierung/Pseudonymisierung wo möglich
- Nur notwendige Daten erheben
- Klare Löschkonzepte
- Zugangsbeschränkungen
Data Processing Agreements
Bei externen KI-Diensten (z.B. OpenAI API):
- Auftragsverarbeitungsvertrag abschließen
- Prüfen, wo Daten verarbeitet werden
- Klären, ob Daten für Training genutzt werden
Der EU AI Act und Sicherheit
Der EU AI Act stellt spezifische Sicherheitsanforderungen:
Für Hochrisiko-KI-Systeme:
- Risikomanagement: Systematische Identifikation und Minimierung von Risiken
- Daten-Governance: Qualitätsanforderungen an Trainingsdaten
- Dokumentation: Technische Dokumentation über das gesamte System
- Logging: Aufzeichnung von Aktivitäten für Nachverfolgbarkeit
- Transparenz: Information der Nutzer über KI-Einsatz
- Menschliche Aufsicht: Möglichkeit zur Intervention
- Genauigkeit und Robustheit: Technische Standards
Für generative KI (Foundation Models):
- Transparenz über Trainingsdaten
- Kennzeichnungspflicht für KI-generierte Inhalte
- Dokumentation der Modellarchitektur
Security-Checkliste für KI-Projekte
Vor dem Projekt:
- Datenschutz-Folgenabschätzung durchgeführt
- Rechtsgrundlage für Datenverarbeitung geklärt
- Risiko-Klassifizierung nach EU AI Act
- Security-Anforderungen definiert
Während der Entwicklung:
- Trainingsdaten auf Qualität und Bias geprüft
- Zugangskontrolle für Modelle und Daten
- Adversarial Testing durchgeführt
- Privacy-Maßnahmen implementiert
Im Betrieb:
- Monitoring für Anomalien aktiv
- Incident-Response-Prozess definiert
- Regelmäßige Audits geplant
- Löschkonzepte umgesetzt
Der nächste Schritt
KI-Sicherheit und Datenschutz sind keine nachträglichen Add-ons, sondern müssen von Anfang an mitgedacht werden. Die Kombination aus DSGVO und EU AI Act schafft einen klaren regulatorischen Rahmen. Nutzen Sie ihn als Leitlinie für verantwortungsvolle KI-Entwicklung.
Ein sicheres und datenschutzkonformes KI-System ist nicht nur rechtlich notwendig, sondern schafft auch Vertrauen bei Kunden und Mitarbeitern.