Der Regulierungsweltmeister EU ist stolz auf sich: „Die EU wird der erste Kontinent sein, der klare Regeln für den Einsatz von KI aufstellt“, gab EU-Kommissar Thierry Breton laut FAZ nach der Einigung auf ein Regelwerk zu Protokoll. Nach der Datenschutz-Grundverordnung, dem Digital Services Act, dem Data Act und einigen anderen EU-Gesetzen kommt nun der AI Act. Kurz: Die EU hegt digitale Phänomene gerne mit Verordnungen ein.
Das findet seine Kritiker: Der AI Act könne in seiner jetzigen Form dazu führen, dass der wirtschaftliche und technologische Vorsprung der USA und Chinas weiterwächst. Die Befürchtung dahinter: Startups und Mittelständler aus Deutschland und Europa werden durch die Regelungen eingeschränkt, da sie die Kosten für bürokratische Verpflichtungen wie eine Risikoeinschätzung nicht stemmen können. Solche Aussagen kommen beispielsweise vom KI-Verband, der stattdessen eine umfassende Unterstützung für europäische KMU und Startups im KI-Ökosystem fordert.
Rechtliche Anforderungen der EU an KI-Systeme
Die finale Verordnung ist noch nicht verfügbar, aber es gibt bereits jetzt genügend Details zu den Inhalten. Sie legt eine Reihe von Anforderungen für KI-Anwendungen fest. Generell sollen sie sicher, transparent, nachvollziehbar und nachhaltig sein. Sie sollen zudem von Menschen überwacht werden, um schädliche Ergebnisse zu verhindern.
Ein wichtiger Aspekt aus Sicht der EU ist die Nichtdiskriminierung: KI-Systeme dürfen keine Entscheidungen aufgrund diskriminierender Merkmale treffen – etwa des Geschlechts oder der Hautfarbe. Darüber hinaus sollen die KI-Anwendungen die Würde, Privatsphäre und andere Rechte aller Menschen respektieren.
Mit diesen Regeln sollen beispielsweise verfälschte Ergebnisse aufgrund eines Vorurteils (Bias) in den Trainingsdaten verhindert werden. Ein bekanntes Beispiel ist eine KI-Anwendung zur Bildverarbeitung, die für einen Schönheitswettbewerb besonders attraktive Personen auswählen sollte. Das Problem: Da die KI nicht mit Fotos von dunkelhäutigen Menschen trainiert wurde, hat sie ausschließlich hellhäutige Menschen als besonders schön klassifiziert, die dunkelhäutigen dagegen aussortiert.
Risikobasierte Klassifizierung von KI-Systemen
Zentraler Bestandteil des AI Acts ist die Einführung einer risikobasierten Klassifizierung von KI-Systemen. Sie teilt KI-Anwendungen nach ihren Risiken für Menschen und Gesellschaft in verschiedene Kategorien ein. Der ursprüngliche Entwurf sah lediglich vier Risikoklassen vor:
- Unzulässige KI-Systeme: Diese Kategorie umfasst KI-Anwendungen, die als klare Bedrohung für die Sicherheit und Grundrechte der EU-Bürger angesehen werden. Beispiele sind Systeme, die das soziale Verhalten bewerten oder Spielzeug, das Kinder zu gefährlichem Verhalten verleiten könnte. Solche Systeme werden in der EU verboten.
- KI-Systeme mit hohem Risiko: Diese Kategorie bezieht sich auf KI-Anwendungen in kritischen Bereichen wie Gesundheitswesen, Verkehr, Bildung und Strafverfolgung. Für diese Systeme gelten strenge Vorschriften und Überprüfungen, um Sicherheit und ethische Standards zu gewährleisten.
- KI-Systeme mit begrenztem Risiko: Hierunter fallen KI-Anwendungen, die ein geringeres Risiko darstellen, aber dennoch bestimmte Transparenzverpflichtungen erfüllen müssen, wie beispielsweise Chatbots. So sollen Verbraucher jederzeit erkennen können, dass sie von einer KI-Anwendung „bedient“ werden.
- KI-Systeme mit minimalem Risiko: Diese Kategorie umfasst die Mehrheit der KI-Anwendungen, die als sicher für die breite Öffentlichkeit angesehen werden, wie KI-gestützte Videospiele oder Spamfilter.
ChatGPT und das systemische Risiko
Diese Risikoklassifizierung entspricht dem Stand der Technik vor einigen Jahren, als die ersten Diskussionen zur KI-Regulierung in der EU geführt worden. Doch inzwischen ist die Entwicklung weiter vorangeschritten. Künstliche Intelligenz hatte Ende 2022 ihren eigenen disruptiven Moment: ChatGPT erschien auf dem Markt. Die anfangs vom Anbieter Open AI nur als „Proof of Concept“ gedachte Anwendung eroberte die Weltöffentlichkeit im Sturm. Bereits nach zwei Monaten hatte sie 100 Millionen aktive Nutzer.
Sprachmodelle wie ChatGPT und vergleichbare Systeme der generativen KI passen nicht gut in die bisherigen Risikokategorien, sollen aber auf Anregung des Europaparlaments trotzdem mit verbindlichen Regeln bedacht werden. Der AI-Act bezeichnet diese Systeme als General Purpose AI (GPAI), Mehrzweck-KI. Dafür definiert die vorgeschlagene neue Fassung des AI Act eine fünfte Risikokategorie:
- KI-Systeme mit systemischem Risiko: Diese Kategorie umfasst alle GPAI-Systeme, die besonders groß und leistungsfähig sind und beispielsweise in Bereichen wie Biotechnologie, Cybersecurity oder dem Militär eingesetzt werden. Die Definition dieser Kategorie ist im Moment noch recht unscharf; hier wird im weiteren Verlauf der Gesetzgebung noch Klarheit geschaffen werden (müssen).
Regeln für Basismodelle wie GPT oder Gemini
Für die neue Risikokategorie gelten eigene Regeln: Die Anbieter müssen Informationen über ihre Technologie zur Verfügung stellen, sofern es sich nicht um Open-Source-Modelle mit öffentlich zugänglichem Quellcode handelt. Dazu gehört auch die Offenlegung der Trainingsdaten, mit Ausnahme von Geschäftsgeheimnissen. Vor der Veröffentlichung von Modellen sollen die Anbieter außerdem mögliche Risiken für Gesundheit, Sicherheit, Grundrechte, Umwelt, Demokratie und Rechtsstaatlichkeit mit Beteiligung unabhängiger Experten prüfen.
Zudem wird eine Prüfung der Modelle auf Widerstandskraft gegenüber sogenannten „Adversarial Attacks“ gefordert. Darunter verstehen KI-Experten den Versuch, die Modelle durch sorgfältig aufbereitete Eingabedaten zu manipulieren. Für ihre Zuverlässigkeit ist es entscheidend, dass diese Schwachstellen identifiziert werden und die Anbieter robuste Verteidigungsmaßnahmen entwickeln. Auch an eine Meldepflicht für Angriffe auf Basismodelle hat die EU gedacht.
Ein weiterer Aspekt des neuen AI Acts ist die „Regulatory Sandbox“, die in jedem EU-Mitglied von den nationalen Behörden aufgebaut werden soll. Darunter versteht die EU eine kontrollierte Umgebung, in der Unternehmen neue Ideen, Produkte oder Services testen können – unabhängig von regulatorischen Anforderungen. Etwas vereinfacht ausgedrückt handelt es sich dabei um eine digitale Sonderwirtschaftszone, in der zunächst experimentiert werden kann, ohne dass die Entwickler sich in der Bürokratie verheddern.
KI-Gesichtserkennung wird verboten, mit Ausnahmen
Ein Komplettverbot betrifft alle biometrischen Kategorisierungssysteme, insbesondere Anwendungen für Gesichtserkennung. Dabei ist es egal, ob dieses Systeme nachträglich anhand von gespeicherten Daten arbeiten oder anhand von Echtzeitdaten etwa aus Überwachungskameras. Zudem werden KI-Tools mit gesichts-basierter Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen verboten. Auch die Nutzung von Merkmalen wie politische, religiöse, philosophische Überzeugungen, sexuelle Orientierung oder ethnische Herkunft ist im Rahmen von Biometrie-KI verboten.
Wer die Rechtsentwicklung der letzten Jahrzehnte kennt, wird es bereits ahnen: Es gibt von diesem Verbot Ausnahmen, und zwar für den Staat. So soll Echtzeit-Gesichtserkennung in der Terrorismusbekämpfung oder der Verfolgung von schweren Kriminalfällen wie Mord oder Entführungen erlaubt sein. Voraussetzung dabei ist eine richterliche Genehmigung. Solche Ausnahmen werden vor allem von zivilgesellschaftlichen Verbänden wie AlgorithmWatch, der Digitalen Gesellschaft oder dem Chaos Computer Club kritisch gesehen – als „faktische Erlaubnis zur flächendeckenden Massenüberwachung.“
Fazit: Mehr Regeln, mehr Bürokratie
Die Einhaltung einer Regulierung muss überprüft werden und je komplizierter sie ist, desto aufwendiger die Prüfung. Und das bedeutet zwangsläufig mehr Bürokratie für die Anbieter von KI-Lösungen. Das ist für Startups und kleinere Mittelständler nur schwer zu bewältigen und wird zum Hindernis für den Markteintritt. Genau dieses Problem möchte das EU-Parlament mit der „Regulatory Sandbox“ beheben, doch es ist fraglich, ob das Instrument wirklich funktioniert. Denn irgendwann müssen alle KI-Modelle den Sandkasten verlassen und in der wirklichen Welt bestehen.
Die bekannten AI-Hyperscaler haben solche Hindernisse nicht. In den USA herrscht die Tendenz, wenig zu regeln und früh zu experimentieren. Das lässt sich gut an der Politik bei autonomen Fahrzeugen ablesen, Probleme werden einfach vor Gericht gelöst. Dadurch haben die KI-Riesen den großen US-Binnenmarkt als Testfeld, die EU kann notfalls ignoriert werden. Wenn es sehr schlecht läuft, erhalten wir eine Situation wie bei anderen digitalen Lösungen: Die Alltagsprodukte kommen aus den USA und Staaten wie China, die lieber gar nicht regulieren. Deutsche Unternehmen haben das Nachsehen, da sie nicht schnell genug auf dem Markt sind.
