AI Act im Fokus: Wie Rechts- und Strategieberatung gemeinsam neue Standards setzen

CMS und Capgemini Invent: Beratung zu Digital Regulation aus einer Hand

Durch die Kooperation von CMS als internationaler Großkanzlei und Capgemini Invent als führenden Strategie- und Managementberatung können wir umfassend und ohne Reibungsverluste zu allen Aspekten der digitalen Transformation beraten.

Wir bedanken uns vorab bei Björn Herbers, Philippe Heinzke, David Rappenglück und Sara Kapur von CMS und Philipp Wagner, Oliver Stuke, Lars Bennek und Catharina Schröder von Capgemini Invent.

Rechtliche Würdigung und Implikationen des AI Act 

Nach der Verabschiedung der „Verordnung zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz“ ( AI Act) durch das Europäische Parlament und den Rat der Europäischen Union wird diese am 1. August 2024 in Kraft treten . Damit ist ein langer Weg mit zähen Verhandlungen abgeschlossen, der 2021 mit dem Vorschlag der Europäischen Kommission für eine unionsweite Regulierung Künstlicher Intelligenz (“KI”) begann. Aufgrund seiner unmittelbaren Anwendbarkeit in allen 27 Mitgliedstaaten wird der AI Act weitreichende Auswirkungen auf Anbieter, Betreiber und Nutzer von KI haben.

Der AI Act basiert auf einem “risk-based approach”. Danach steigen Compliance-Verpflichtungen, je höher das Risiko eines KI-Systems ist.

Verbotene Praktiken nach dem AI Act (Art. 5) sind solche KI-Systeme, welche als unvereinbar mit den Grundrechten der Europäischen Union gelten.
Hochrisiko-KI-Systeme (Art. 6) werden in solche unterteilt, die selbst Produkte oder Sicherheitsbauteile von bestimmten Produkten sind und einem Konformitätsbewertungsverfahren durch Dritte unterliegen und solchen, die in bestimmten, Bereiche Anwendung finden . Anbietern solcher KI-Systeme werden hohe Compliance-Anforderungen während des gesamten Systems-Lebenszyklus auferlegt.
Bestimmte KI-Systeme, wie solche die mit Menschen intergargieren (z.B. Chatbots) unterliegen besonderen Transparenzverpflichtungen (Art. 50).
GPAI-Modelle (Art. 51ff.) sind vielseitig verwendbare KI-Modelle, die unterschiedlichste Aufgaben erfüllen können und in Systemen integrierbar sind. Die Compliance Verpflichtungen variieren nach der Einordnung als “normale” GPAI-Modelle oder solche mit systemischem Risiko.
Die Bestimmungen über die verbotenen Praktiken finden 6 Monate, über GPAI-Modelle nach 12 Monaten und über Hochrisiko-KI-Systeme zwischen 24 und 36 Monaten nach Inkrafttreten des AI Act Anwendung.
Bei Verstößen gegen die Vorschriften über verbotene Praktiken drohen Bußgelder bis zu 35 Millionen Euro bzw. bis zu 7% des vorjährigen weltweiten Gesamtumsatzes und in anderen Fällen, Bußgelder bis zu 7,5 Millionen Euro bzw. bis zu 1% des vorjährigen weltweiten Gesamtumsatzes.

Strategische und operative Umsetzung durch AI-Governance

Um die Anforderungen aus dem AI Act umzusetzen, bedarf es eines übergeordneten Ansatzes. Mit unserem umfassenden AI Governance Framework helfen wir Organisationen dabei, KI verantwortungsvoll und effizient zu nutzen und zugleich Risiken zu minimieren. Von Daten über Modelle, verwendete Systeme und Use Cases hinweg müssen Prozesse und Verantwortlichkeiten entlang technischer, prozessualer und regulatorischer Anforderungen definiert und über den gesamten KI-Lebenszyklus eingehalten werden.

Die Formulierung einer langfristigen Vision zum Umgang mit KI sowie die Erarbeitung ethischer Richtlinien innerhalb der Organisation bilden die Grundlage jeder KI-Strategie, welche dann anhand eines Kommunikationsplanes kommuniziert werden kann. Im nächsten Schritt können Rollen und Verantwortlichkeiten im Zusammenhang mit KI-Projekten identifiziert und festgelegt sowie Prozesse für Entwicklung, Implementierung und Überwachung von KI-Projekten angepasst werden. Empfehlenswert ist die Erstellung eines Handbuchs mit Sicherheitsstandards, Best Practices und Richtlinien für die Implementierung von KI. Da Anforderungen aus dem AI Act Einfluss auf z.B. Datenschutz, Urheberrecht und IT-Sicherheitsrecht haben, empfiehlt es sich, regulatorische Anforderungen kontinuierlich zu analysieren und in technisch messbare KPIs zu übersetzen.
Für Anbieter von Hochrisiko-KI ist die Einrichtung eines Risikomanagementsystems Pflicht, Komponenten davon werden in einem folgenden Blogbeitrag näher beleuchtet. Um den Einsatz von KI zu skalieren und die operativen Prozesse verschlanken zu können, ist die Inventarisierung aller KI-Systeme mit anschließender Automatisierung von Prozessen, Entwicklung, Bereitstellung, Überwachung und Dokumentation erforderlich.
Zudem sollten Qualitäts-, Fairness und Robustheitsmetriken eingerichtet und überwacht werden. Um das notwendige Wissen unter den Mitarbeitenden auf- und Vorurteile gegenüber KI abzubauen, sollten kontinuierlich in einem iterativen Prozess über den gesamten KI-Lebenszyklus hinweg Trainings- und Awarenesskonzepte angeboten und ein Change-Management zur Sicherstellung eines reibungslosen Übergangs initiiert werden.

Anwendungsbeispiel

Um dieses Vorgehen in einem Anwendungsbeispiel zu verdeutlichen, geht es um ein (fiktives) Bundesministerium welches KI zur (Teil-)Automatisierung von Verwaltungsleistungen nutzen möchte.

Die erste Herausforderung im Rahmen eines Umsetzungsprojekts ist die rechtliche Beurteilung, ob und inwiefern der AI Act auf die bezweckte KI-Integration anwendbar ist. Erst nach Klärung grundlegender (rechtlicher) Fragestellungen, lässt sich konkret festhalten, welche Compliance-Verpflichtungen bestehen und wie die Bestimmungen des AI Act in technischer Sicht umgesetzt werden können.
Anfänglich ist daher die Frage zu beurteilen, ob das KI-System einer Risikokategorie des AI Act unterfällt und welche Rolle das Ministerium konkret in Bezug auf das KI-System ausübt. Abhängig von der konkreten Verwendung dürfte ein KI-System zur (Teil-)Automatisierung von Verwaltungsleistungen als ein Hochrisiko-KI-System nach dem AI Act einzuordnen sein. Die Anlage III des AI Act regelt konkrete “Hochrisikobereiche”. Im Zusammenhang mit der öffentlichen Verwaltung werden folgende Verwendungsbereiche eines KI-Systems genannt:
• als Sicherheitskomponente in der Verwaltung,
• zur Beurteilung von Ansprüchen auf öffentliche Dienste und Leistungen, oder
• zur Rechtsanwendung durch Justizbehörden.
Die Compliance-Verpflichtungen von Hochrisiko-KI-Systemen richten sich primär an den Anbieter eines solchen KI-Systems. Dennoch hat auch der Betreiber Pflichten nach dem AI Act. Es müssen demnach folgende Fragen gestellt werden:
• Bezweckt das Ministerium die Entwicklung und in der Folge die Inbetriebnahme eines KI-Systems? In diesem Fall tritt das Ministerium als Anbieter auf.
• Soll ein bestehendes KI-System lediglich in eigener Verantwortung verwendet werden? In diesem Fall tritt das Ministerium als Betreiber auf.
• Soll ein bereits bestehendes KI-System individuell an die Bedürfnisse des Ministeriums angepasst werden und wird dieses somit grundlegend verändert? In diesem Fall wäre das Ministerium nicht mehr nur Betreiber, sondern ein Anbieter.
Nachdem die grundlegenden Fragen geklärt sind, folgt die konkrete Planung zur Umsetzung der Compliance-Verpflichtungen und zum Erstellen von Governance-Strukturen. In diesem Anwendungsbeispiel können anschließend Legal Engineers mit ihrer interdisziplinären Vorgehensweise rechtliche Anforderungen in Anforderungen und Lösungsdesigns übersetzen, indem sie zu den Verpflichtungen passende technische und organisatorische Maßnahmen identifizieren und konzipieren. Hier ist ein breites Spektrum denkbar, beispielsweise können Anforderungen zur Datengovernance aus Art. 10 AI Act in das Architekturdesign übertragen werden. So können durch Privacy by Design Trainingsdaten anonymisiert oder gefiltert werden. Differential Privacy Methoden können zudem die Vertraulichkeit von Daten schützen. Eine gründliche Auswahl und Evaluation der verwendeten Trainingsdaten können zudem möglichen Bias reduzieren.
Um der menschlichen Aufsicht aus Art. 14 AI Act gerecht werden zu können, bedarf es einer gewissen Erklärbarkeit der KI-Modelle, damit der Mensch die Chance bekommt, seine Aufsichtsfunktion wahrzunehmen. Erklärbarkeitsmethoden werden umso wichtiger, wenn eine KI im Rahmen der Entscheidungsvorbereitung eingesetzt wird. Hier können zusätzliche Erklärungen oder visuelle Ausgaben genutzt werden, die aufzeigen, auf welcher Datenbasis die Ausgabe beruht.
Aufgrund der Vielfalt der zu berücksichtigenden Vorgaben kommt der Auswahl des KI-Modells besondere Bedeutung zu, da unterschiedliche Trainingsmodelle unterschiedlich offen in Bezug auf Trainingsdaten sein können und die Modellauswahl stark von den Use-Cases abhängt. Um eine fundierte Entscheidung treffen zu können und den gewünschten Projekterfolg zu erreichen, ist ein agiles und interdisziplinäres Vorgehen, das sowohl rechtliche als auch technologische Aspekte berücksichtigt, unerlässlich.
In unserem Anwendungsbeispiel wird deutlich, wie komplex und vielschichtig das Thema ist: erst nach Klärung der rechtlichen Fragen in Bezug auf AI-Akteur und Art des KI-Systems können daraus resultierende Pflichten in einer AI Governance identifiziert und umgesetzt werden.

Ausblick

Der Einsatz von KI bietet ein enormes Wertschöpfungspotenzial, birgt aber auch funktionale und rechtliche Risiken. Regulierungen von KI z.B. durch den AI Act führen zu einem umfassenden Regelungskonzept, erfordern jedoch eine detaillierte Umsetzung in den Organisationen unter Berücksichtigung technischer, prozessualer und menschlicher Dimensionen. In zahlreichen Projekten hat sich gezeigt, dass eine AI Governance nur Nutzen stiftet, wenn sie mit dem steten Wandel der KI-Technologie Schritt hält. Klarheit in den Rahmenbedingungen kann jedoch nach einer ersten Phase der Unsicherheit zu einem Anwachsen von KI-Anwendungen in Grenz-Bereichen führen. Hier wurde nicht nur eine Technologie für bekannte Probleme entwickelt, sondern Anwendungsfälle kommen plötzlich erst durch die neuen Möglichkeiten auf. Um hier mit dem Markt Schritt zu halten, sollten die Umsetzungsrichtlinien schon jetzt so hilfreich wie nötig, aber so flexibel wie möglich gestaltet werden. Eine Vertiefung in das nach Art. 9 AI Act vorgeschriebene Risikomanagement erfolgt in Kürze.

Vielen Dank an die Autor:innen Björn Herbers, Philippe Heinzke, David Rappenglück und Sara Kapur von CMS und Philipp Wagner, Oliver Stuke, Lars Bennek und Catharina Schröder von Capgemini Invent.