Die Europäische Union hat einen Gesetzesentwurf für die Regulierung von künstlicher Intelligenz (KI) vorgelegt, der weitreichende Auswirkungen auf Unternehmen haben wird, die KI-Systeme in der EU entwickeln, verkaufen oder nutzen. Die vorgeschlagene Verordnung zielt darauf ab, KI-Systeme sicher, gesetzmäßig und ethisch einwandfrei zu gestalten.

Sie führt neue Vorschriften für die Konformitätsbewertung von Hochrisiko-KI-Systemen ein und verbietet bestimmte KI-Praktiken.

In diesem ausführlichen Beitrag erläutern wir die wichtigsten Punkte der geplanten KI-Verordnung und was sie für betroffene Unternehmen bedeutet.

Die Ziele der KI-Verordnung

Das übergeordnete Ziel der KI-Verordnung ist es, künstliche Intelligenz zum Wohle der Gesellschaft zu entwickeln und Risiken für Bürger und Verbraucher zu minimieren. KI-Systeme sollen gesetzmäßig, sicher und ethisch einwandfrei sein.

Konkret verfolgt die Verordnung drei Ziele:

Gesetzmäßigkeit: KI-Systeme müssen bestehende EU-Gesetze und Grundrechte einhalten. Dies betrifft etwa Datenschutz, Nichtdiskriminierung und Produktsicherheit.

Sicherheit: KI-Systeme müssen technisch robust und zuverlässig sein. Irreführende oder falsche Ergebnisse, die Schaden verursachen, müssen verhindert werden.

Ethik: KI-Systeme müssen unsere europäischen Werte und Grundrechte widerspiegeln. Die Würde und Privatsphäre von Personen muss gewahrt werden.

Um diese Ziele zu erreichen, führt die Verordnung neue Vorschriften und Verbote ein. Zentral ist ein risikobasierter Ansatz: Je nach Risikopotenzial eines KI-Systems gelten unterschiedliche Regeln.

Definition von KI-Systemen

Die Verordnung definiert sehr breit, was unter einem KI-System zu verstehen ist. Darunter fallen im Wesentlichen folgende Techniken:

• Machine Learning (überwachtes, unüberwachtes und bestärkendes Lernen)

• Logik- und wissensbasierte Systeme (Expertensysteme, symbolisches Schließen)

• Statistische Verfahren (Bayes-Schätzung, Optimierung)

Damit fallen nicht nur moderne Deep Learning-Systeme unter die Regelung, sondern auch länger bestehende technische Ansätze. Entscheidend ist weniger die Technik selbst, sondern die Anwendung und der Verwendungszweck.

Geltungsbereich und betroffene Akteure

Die KI-Verordnung gilt für Anbieter und Nutzer von KI-Systemen innerhalb der EU. Aber auch außereuropäische Anbieter sind erfasst, wenn sich ihr System an Nutzer in der EU richtet.

Folgende Akteure sind vor allem betroffen:

Anbieter: Organisationen oder Personen, die ein KI-System in Verkehr bringen oder in Betrieb nehmen

Nutzer: Organisationen oder Personen, die ein KI-System nutzen, das nicht selbst entwickelt wurde

Einführer: Organisationen, die ein KI-System aus einem Drittstaat in die EU einführen

Händler: Organisationen, die ein KI-System auf dem EU-Markt bereitstellen

In erster Linie richten sich die Pflichten an die Anbieter von KI-Systemen. Aber auch Nutzer müssen die Regelungen beachten.

Klassifizierung nach Risikostufen

Ein zentrales Konzept der Verordnung ist die Einteilung von KI-Systemen in unterschiedliche Risikoklassen. Je nach potenzieller Gefährdung gelten unterschiedlich strenge Vorschriften.

Unannehmbare Risiken

Bestimmte KI-Praktiken sind ganz verboten, da sie als ethisch nicht vertretbar eingestuft werden. Dazu zählen:

Echtzeit-Biometrieerkennung: Zum Beispiel Gesichtserkennung im öffentlichen Raum. Ausgenommen sind eng begrenzte Sicherheits- und Strafverfolgungszwecke.

Social Scoring: Bewertung der Vertrauenswürdigkeit von Personen anhand persönlicher Aspekte. Dies könnte zu Diskriminierung führen.

Verhaltensmanipulation: Ausnutzung von Schwächen, um das Verhalten von Personen zu beeinflussen und möglicherweise zu schädigen.

Hohe Risiken

Für KI-Systeme mit hohem Risikopotenzial gelten besonders strenge Vorschriften. Dies betrifft KI-Anwendungen unter anderem in diesen Bereichen:

• Kritische Infrastruktur

• Bildung und Beruf

• Beschäftigung

• Essentielle private und öffentliche Dienste (z.B. Kreditvergabe)

• Strafverfolgung

• Migration und Asyl

• Justiz

Solche Hochrisiko-KI-Systeme müssen umfangreiche Konformitätsbewertungen und Dokumentationspflichten erfüllen, bevor sie in Verkehr gebracht werden können.

Niedrige Risiken

Für KI-Systeme mit geringem Risiko gelten die allgemeinen Produktsicherheitsvorschriften. Dies trifft auf viele Anwendungen etwa in der Industrie oder Logistik zu.

Minimale Risiken

KI-Systeme ohne nennenswerte Risiken sind von der Verordnung weitgehend ausgenommen. Beispiele sind Spam-Filter oder Videospiele.

Vorschriften für Hochrisiko-KI-Systeme

Für KI-Systeme, die signifikante Risiken bergen, gelten besondere regulatorische Anforderungen. Diese Hochrisiko-Systeme müssen Konformitätsbewertungen durchlaufen, bevor sie in der EU genutzt werden dürfen. Zentrale Vorgaben sind:

Konformitätsbewertung

Vor dem Inverkehrbringen muss ein Konformitätsbewertungsverfahren durchlaufen werden. Dies erfolgt in der Regel durch eine interne Kontrolle des Anbieters. Externe Prüfstellen (sogenannte notifizierte Stellen) sind nur in bestimmten Fällen vorgesehen.

Der Anbieter muss nachweisen, dass das System alle rechtlichen Vorgaben erfüllt und technisch sicher ist. Alle Details zum Verfahren sind in der Verordnung geregelt.

Dokumentationspflichten

Für Hochrisiko-Systeme gelten umfangreiche Dokumentationspflichten. Anbieter müssen ausführliche Unterlagen erstellen zu Aspekten wie Risikomanagement, Datenschutz, Tests und Qualitätssicherung.

Diese Dokumente müssen zum Teil proaktiv den Aufsichtsbehörden bereitgestellt werden. Sie bilden die Grundlage für Prüfungen der Konformität und Sicherheit.

Datenschutz und Datengovernance

Hohe Anforderungen gelten für den Datenschutz und die Datennutzung. Trainingsdaten müssen beispielsweise frei von Verzerrungen sein. Personenbezogene Daten unterliegen strikten Zweckbindungen.

Generell muss die Qualität und Integrität von Daten sichergestellt werden. Datensätze müssen regelmäßig überprüft und aktualisiert werden.

Transparenzpflichten

Wenn ein Hochrisiko-System direkt mit Menschen interagiert, muss es seine KI-Identität offenlegen. Nutzer müssen informiert werden, wenn sie mit einem Chatbot kommunizieren oder von KI generierte Inhalte konsumieren.

Dadurch sollen Täuschung und Manipulation verhindert werden. Personen sollen stets wissen, ob sie es mit KI oder einem Menschen zu tun haben.

Konformitätsbewertungsverfahren

Für Hochrisiko-KI-Systeme sind spezielle Konformitätsbewertungen vorgesehen. Die Anbieter müssen nachweisen, dass ihr System alle rechtlichen Anforderungen erfüllt und technisch sicher ist.

Interne Konformitätsbewertung

In den meisten Fällen ist eine interne Kontrolle durch den Anbieter selbst vorgesehen. Dabei prüft und dokumentiert der Anbieter, dass das System konform ist.

Dies umfasst Aspekte wie die Risikoanalyse, den Datenschutz und die technische Dokumentation. Die Anforderungen sind in einer Konformitätsbewertungs-Checkliste festgelegt.

Anschließend erstellt der Anbieter eine EU-Konformitätserklärung. Mit dieser bestätigt er, dass das System alle Bestimmungen einhält und sicher ist.

Externe Bewertung

Nur in bestimmten Fällen (z.B. biometrische Identifizierung) ist eine externe Konformitätsbewertung durch eine benannte Prüfstelle (notifizierte Stelle) nötig.

Hierbei wird die Qualitätskontrolle und die technischen Unterlagen durch unabhängige Sachverständige begutachtet und zertifiziert.

Für die meisten Hochrisiko-KI-Systeme dürfte aber die interne Bewertung ausreichend sein.

Dokumentationspflichten

Für Hochrisiko-KI-Systeme gelten umfangreiche Dokumentationspflichten. Die Anbieter müssen konkrete Nachweise und Unterlagen bereitstellen zu verschiedenen Aspekten des Systems.

Wichtige Dokumente, die erstellt werden müssen, sind:

Risikomanagement-Dokumentation: Detaillierte Risikoanalyse und Maßnahmen zur Risikominimierung.

Qualitätsmanagement-Dokumentation: Prozesse und Verfahren zur Qualitätssicherung.

Datenschutz-Dokumentation: Einhaltung der Datenschutz-Grundverordnung nachweisen.

Technische Dokumentation: Umfassende Details zu Systemdesign, Entwicklung und Test.

Diese Dokumente bilden die Grundlage für die Konformitätsbewertung. Außerdem müssen sie teilweise proaktiv den Aufsichtsbehörden bereitgestellt werden.

Transparenzpflichten

Für KI-Systeme, die direkt mit Menschen interagieren, gelten besondere Transparenzanforderungen. Nutzer müssen klar darüber informiert werden, dass sie es mit KI zu tun haben.

KI-Offenlegung

Wenn ein Mensch mit einem Chatbot oder einer Sprachassistenz kommuniziert, muss dieses System seine KI-Identität offenlegen. Es darf kein Zweifel bestehen, dass die Interaktion nicht mit einem Menschen stattfindet.

Kennzeichnung von KI-Generiertem

Auch von einem KI-System generierte Texte, Medien oder andere Inhalte müssen entsprechend gekennzeichnet werden. Bei "Deep Fakes" muss beispielsweise erkennbar sein, dass es sich um künstlich erzeugte Inhalte handelt.

Nutzer sollen so vor Täuschung und Manipulation geschützt werden. Sie sollen stets wissen, ob sie es mit echten Inhalten oder KI-Kreationen zu tun haben.

Sanktionen bei Nichteinhaltung

Verstöße gegen die KI-Verordnung können schwerwiegende Folgen haben. Die Strafen orientieren sich an der bekannten DSGVO und reichen bis 30 Millionen Euro oder 6 Prozent des Jahresumsatzes.

Die Aufsicht erfolgt durch nationale Behörden. Betroffene Personen können zudem direkt gegen KI-Anbieter vorgehen, wenn ihre Rechte verletzt wurden.

Die EU zeigt mit der scharfen Sanktionsmöglichkeit, dass sie es ernst meint mit der Regulierung. Es drohen also erhebliche Geldbußen und Reputationsrisiken für Organisationen, die sich nicht an die Vorgaben halten.

Fazit und Handlungsempfehlungen

Die neue EU-KI-Verordnung wird weitreichende Auswirkungen auf viele Unternehmen haben. Betroffene Organisationen sollten die Anforderungen sorgfältig prüfen und ihre Systeme proaktiv anpassen.

Folgende Schritte empfehlen sich:

- KI-Systeme im Einsatz identifizieren und analysieren

- Risikopotenzial bewerten

- Geplante Systeme auf Konformität prüfen

- Verbotene Anwendungsfälle ausschließen

Ist Ihre Organisation bereit, sich dem EU-KI-Gesetz zu stellen?

Nutzen Sie unser kostenloses KI-Governance-Bewertungstool, um die Reife Ihrer KI-Governance zu bewerten.