Wie sich Unternehmen auf die KI-Verordnung vorbereiten können

Die bevorstehende Einführung der KI-Verordnung (KI-VO) wirft bei vielen Unternehmen Fragen auf: Wie können sich Unternehmen auf die KI-Verordnung vorbereiten? Was genau verlangt die Verordnung? Welche Maßnahmen sind notwendig, um den neuen Anforderungen gerecht zu werden? Und wie können Unternehmen sicherstellen, dass sie die umfassenden Vorgaben rechtzeitig und vollständig umsetzen?

Die KI-Verordnung stellt klare und strenge Regeln für den Einsatz von Künstlicher Intelligenz (KI) auf. Unternehmen, die KI-Systeme entwickeln oder einsetzen, müssen spezifische Anforderungen erfüllen – von der technischen Kompetenz ihrer Teams über regelmäßige Schulungen bis hin zu umfangreichen Dokumentations- und Nachweispflichten. Dies erfordert nicht nur technologische Anpassungen, sondern auch organisatorische Veränderungen, die gut durchdacht und umgesetzt werden müssen.

Hier geben wir Ihnen einen Überblick über die zentralen Anforderungen der Verordnung, erläutern, welche Schritte zur Einhaltung notwendig sind, und bieten praktische Empfehlungen, wie Sie Ihr Unternehmen zukunftssicher aufstellen. Ziel des Artikels ist es, Ihnen einen klaren Leitfaden an die Hand zu geben, damit Sie den Anforderungen der KI-VO nicht nur gerecht werden, sondern auch die Chancen nutzen können, die sich durch die Einführung der Verordnung ergeben.

Mit diesem Artikel möchten wir die eingangs gestellte Frage beantworten und Ihnen dabei helfen, die neuen regulatorischen Anforderungen als strategische Chance zu verstehen und zu nutzen.

Wer ist von der KI-VO betroffen und warum?

Die KI-Verordnung richtet sich an die Anbieter von KI-Systemen und die Organisationen, die diese Systeme einsetzen, also Unternehmen und öffentliche Einrichtungen. Auf Nutzerebene ist eine KI-Kompetenz wichtig; der einzelne Nutzer ist aber nicht Normadressat der KI-VO.

Anbieter von KI-Systemen

Unternehmen, die KI-Systeme entwickeln tragen die Hauptverantwortung für die Einhaltung der neuen gesetzlichen Vorgaben. Dies betrifft insbesondere:

• Entwickler von Hochrisiko-KI-Systemen: Laut Art. 6 der KI-Verordnung unterliegen Anbieter solcher Systeme strengen Anforderungen, darunter die Pflicht zur Implementierung von Risikomanagementsystemen und zur Erstellung umfassender Dokumentationen. Hochrisiko-Systeme umfassen etwa Anwendungen in kritischen Infrastrukturen, im Gesundheitswesen oder in der Strafverfolgung.
• Entwickler von allgemeinen KI-Systemen: Auch Anbieter weniger risikobehafteter KI-Anwendungen müssen Transparenz- und Informationspflichten erfüllen, etwa wenn es um die Erklärung der Funktionsweise ihrer Systeme geht.

Die Anbieter sind dafür verantwortlich, dass die von ihnen entwickelten Systeme nicht nur den technischen Anforderungen genügen, sondern auch ethische und datenschutzrechtliche Standards einhalten. Art. 4 KI-Verordnung legt außerdem fest, dass Anbieter sicherstellen müssen, dass ihr Personal ausreichend geschult ist, um die Risiken von KI-Systemen zu bewerten und zu minimieren.

Betreiber von KI-Systemen

Wer seinen Mitarbeitern KI-Systeme zur Nutzung freigibt, ist Betreiber. Diese sind ebenfalls Normadressaten. Typischerweise finden sich diese heute schon in Branchen, die stark auf KI-Technologien setzen, wie etwa:

• Finanz- und Versicherungswirtschaft:  KI wird hier eingesetzt, um Kundenrisiken zu bewerten, Kreditentscheidungen zu treffen oder automatisierte Anlagevorschläge zu machen. Diese Anwendungen können unter die Kategorie der Hochrisiko-KI fallen und müssen dann entsprechend den Anforderungen der KI-VO dokumentiert und überwacht werden.
• Gesundheitswesen: KI-Systeme, die bei Diagnoseverfahren, Behandlungen oder Patientenmanagement eingesetzt werden, sind besonders kritisch, da sie direkt Auswirkungen auf die Gesundheit der Betroffenen haben können. Auch hier müssen Unternehmen sicherstellen, dass die KI-Systeme sicher und rechtskonform arbeiten.

Betreiber sind verpflichtet, die KI-Systeme regelmäßig zu überprüfen, um die Konformität mit der KI-VO nachhaltig sicherzustellen. Art. 5 KI-VO verlangt in diesem Zusammenhang ein Risikomanagementsystem, das die Nutzung der KI-Systeme über den gesamten Lebenszyklus überwacht.

Warum sind diese Akteure betroffen?

Im öffentlichen Umfeld geht es um Entscheidungen in kritischen Bereichen, die von KI beeinflusst oder sogar getroffen werden können. Zu nennen sind etwa die Justiz, das Gesundheitswesen und die öffentliche Sicherheit.

Im Privatsektor geht es primär um die Vermeidung von Missbrauch und Diskriminierung.

Aufbau von KI-Kompetenz im Unternehmen

Ein zentraler Aspekt der KI-VO ist die Sicherstellung der KI-Kompetenz im gesamten Unternehmen, insbesondere bei der Entwicklung und Anwendung von Hochrisiko-KI-Systemen. Art. 4 KI-VO verpflichtet Unternehmen, sicherzustellen, dass Mitarbeiter ausreichend geschult und qualifiziert sind, um KI-Systeme sicher zu betreiben. Die Schulungen müssen technische, rechtliche und ethische Aspekte abdecken und regelmäßig durchgeführt werden.

Wie können Unternehmen die Anforderungen erfüllen?

Wir empfehlen folgende Maßnahmen:

Regelmäßige Schulungen und Weiterbildungen:

• Unternehmen sollten ein Schulungsprogramm einrichten, das alle Mitarbeiter umfasst, die mit der Entwicklung, Implementierung oder dem Betrieb von KI-Systemen in Berührung kommen. Die Schulungen sollten das o.g. Pflichtprogramm abdecken.
• Spezifische Trainings sollten insbesondere für Hochrisiko-KI-Systeme vorgesehen werden, bei denen der Einfluss auf grundlegende Rechte oder die Sicherheit der Nutzer besonders hoch ist.

Technisches Verständnis und rechtliche Rahmenbedingungen:

• Ein tieferes Verständnis für die Funktionsweise von KI-Systemen ist auch auf Nutzerseite wichtig: Dazu gehört etwa das Wissen über zugrundeliegende Algorithmen, die Art und Weise, wie Entscheidungen getroffen werden, sowie die möglichen Auswirkungen auf Betroffene.
• Unternehmen müssen sicherstellen, dass ihre Mitarbeiter über die rechtlichen Rahmenbedingungen informiert sind, insbesondere in Bezug auf Datenschutz und Transparenz, wie es auch in Art. 13 der KI-VO gefordert wird.

Externe Expertise hinzuziehen:

• Spezifische Schulungen oder Workshops, für die intern keine angemessene Ressourcen bereitstehen, sollten extern vergeben werden. Dies kann insbesondere bei der Entwicklung von Hochrisiko-KI-Systemen hilfreich sein, bei denen ein vertieftes technisches und rechtliches Verständnis erforderlich ist.

Dokumentation der Schulungen und Kompetenznachweise:

• Alle Schulungsmaßnahem sollten dokumentiert sein. 
• Kompetenznachweise oder Zertifizierungen können ebenfalls als Beleg für einen angemessenen Schulungsstand genutzt werden.
• Schulungsunterlagen und verständliche Anleitungen für genutzte KI-Systeme sind bereitzustellen. Dies kann durch interaktive Lernplattformen, Handbücher oder Online-Schulungen erfolgen. Die Dokumentation sollte den Mitarbeitern helfen, die Systeme nicht nur zu bedienen, sondern auch potenzielle Risiken zu identifizieren und proaktiv zu handeln.

Empfehlung: 

Um die Anforderungen der KI-VO zu erfüllen, sollten Unternehmen den Kompetenzaufbau strategisch angehen. Der Fokus sollte nicht nur auf der technischen Umsetzung von KI-Projekten liegen, sondern auch auf der Schulung und dem kontinuierlichen Lernen, um sicherzustellen, dass KI-Systeme sicher, transparent und ethisch verantwortlich eingesetzt werden.

Dokumentation und Nachweispflichten

Ein für viele lästiger aber gleichwohl verpflichtender Baustein der KI-VO ist die umfassende Dokumentationspflicht. Gem. Art. 11 KI-VO müssen Unternehmen technische Dokumentationen erstellen, die alle Phasen des Lebenszyklus ihrer KI-Systeme abdecken. Dies betrifft die Entwicklung, den Betrieb und die regelmäßige Überwachung der Systeme.

Art. 11 Abs. 1 legt fest, dass die Dokumentation eine vollständige Beschreibung der Funktionalität des KI-Systems sowie der verwendeten Daten und Algorithmen enthalten muss. Die Darstellung muss transparent und nachvollziehbar sein und die Entscheidungswege des KI Systems verständlich darstellen. Auf Verlangen ist sie  der zuständigen Aufsichtsbehörden vorzulegen.

Art. 11 Abs. 3 verlangt darüber hinausgehend eine regelmäßige Aktualisierung, um sicherzustellen, dass die Dokumentation mit den aktuellen Versionen des Systems übereinstimmt. 

Ziele der Dokumentation und Nachweispflichten

Die Dokumentationspflichten dient mehreren Zielen:

• Nachweis der Konformität: Die technische Dokumentation muss beweisen, dass das KI-System den gesetzlichen Anforderungen entspricht, einschließlich der Sicherheits- und Datenschutzbestimmungen. Dies gilt insbesondere für Hochrisiko-KI-Systeme, die unter besonders strenge Auflagen fallen.
• Transparenz der Entscheidungsfindung: Die Beschreibung der Entscheidungslogik muss so gestaltet sein, dass Dritte, einschließlich der Aufsichtsbehörden, nachvollziehen können, wie das KI-System zu seinen Entscheidungen gelangt.
• Risikobewertung und -minimierung: Die Dokumentation muss auch auf potenzielle Risiken hinweisen und die Maßnahmen aufzeigen, die ergriffen wurden, um diese Risiken zu minimieren. Das Risikomanagement muss als integraler Bestandteil der KI-Entwicklung und -Anwendung festgehalten werden.

Praxistipps für die Umsetzung:

Implementierung eines strukturierten Dokumentationssystems:

• Unternehmen sollten ein robustes System zur Dokumentation der Entwicklung, des Betriebs und der Aktualisierungen ihrer KI-Systeme einführen. Dies kann durch spezialisierte Software oder manuelle Prozesse geschehen. Ziel ist es, sicherzustellen, dass alle relevanten Informationen jederzeit verfügbar und aktuell sind.

Festhalten von Entscheidungswegen und Algorithmen:

• Ein wesentlicher Bestandteil der Dokumentation muss die Funktionsweise des Algorithmus umfassen, einschließlich der Daten, auf denen das System trainiert wurde, sowie der Entscheidungslogik. Eine transparente Darstellung ist wichtig um nachweisen zu können, dass das System keine diskriminierenden oder unrechtmäßigen Entscheidungen trifft.

Regelmäßige Überprüfung und Aktualisierung:

• Mit Blick auf die Aktualisierungsanforderung aus Art. 11 Abs. 3 sollte ein interner Prozess eingerichtet werden, der regelmäßige Überprüfungen der KI-Systeme und deren Dokumentation vorsieht, insbesondere nach wichtigen Updates oder Änderungen der Systeme.

Vorbereitung auf Audits:

• Da die Aufsichtsbehörde jederzeit Einsicht in die Dokumentation verlangen kann, sollten Unterlagen stets in einem verständlichen Format vorliegen.

  Integration von Compliance-Tools:

• Die Organisation und verwaltungstechnische Dokumentation kann durch die Nutzung von Compliance-Tools unterstützt werden, die durch eine Automatisierung von Funktionen die Systemdokumentation erleichtern. 

Risikomanagement und Compliance

Die Verordnung legt großen Wert auf ein umfassendes Risikomanagement, das sicherstellt, dass der Einsatz von KI-Systemen jederzeit sicher und konform mit den gesetzlichen Vorgaben ist. Besonders **Hochrisiko-KI-Systeme** sind Gegenstand strenger Überwachungs- und Risikobewertungsanforderungen, die in der Verordnung detailliert geregelt werden. Unternehmen, die solche Systeme entwickeln oder einsetzen, müssen ein proaktives Risikomanagementsystem implementieren, das alle Phasen des Lebenszyklus eines KI-Systems abdeckt.

Einstufung von KI-Systemen nach Risiko

Die KI-VO stuft KI-Systeme nach dem Grad des Risikos ein, das sie für die Sicherheit, Gesundheit und Grundrechte von Personen darstellen. Die Klassifizierung reicht von Systemen mit minimalem Risiko bis hin zu Hochrisiko-KI-Systemen, die aufgrund ihres potenziellen Einflusses auf fundamentale Rechte oder ihre Bedeutung in kritischen Infrastrukturen besonders strengen Anforderungen unterliegen. Art. 5 KI-VO nennt beispielhaft für Hochrisiko-KI-Systeme solche, die im Gesundheitswesen, der Strafverfolgung oder der Personalauswahl eingesetzt werden.

Diese Systeme müssen strengen Konformitätsbewertungen unterzogen werden, bevor sie auf den Markt gebracht oder in Betrieb genommen werden. Die Bewertung umfasst eine umfassende Risikoprüfung und die Dokumentation der Maßnahmen, die ergriffen wurden, um die Risiken zu minimieren.

Anforderungen an das Risikomanagement laut KI-VO

Gem. Art. 9 der KI-VO müssen Unternehmen ein Risikomanagementsystem entwickeln, das den gesamten Lebenszyklus eines KI-Systems von der Entwicklungsphase über den Einsatz bis zur kontinuierlichen Überwachung umfasst. Die relevanten Elemente sind:

• Risikobewertung: Potenzielle Risiken sind frühzeitig zu identifizieren und zu bewerten. Dies umfasst technische Risiken, z.B. fehlerhafte Entscheidungen des KI-Systems, sowie ethische und rechtliche Risiken, wie Diskriminierung oder Verstöße gegen den Datenschutz.
• Kontinuierliche Überwachung: Auch nach der Implementierung muss das KI-System regelmäßig überwacht werden, um neue Risiken erkennen und adäquat reagieren zu können.
• Risikominderungsmaßnahmen:  Maßnahmen zur Risikominderung sind zu dokumentieren. Dies können technische Lösungen sein, wie Algorithmen zur Fehlererkennung oder Sicherheitsmechanismen, die den Missbrauch des Systems verhindern.
• Audit und Bewertung: Hochrisiko-KI-Systeme sollten regelmäßig durch interne und externe Audits überprüft werden, um die Einhaltung der gesetzlichen Vorgaben und die Effektivität der Risikominderungsmaßnahmen sicherzustellen.

Praxistipps zur Implementierung eines Risikomanagementsystems

Frühe Risikobewertung:

• Eine umfassende Risikobewertung sollte bereits in der Entwicklungsphase eines KI Systems durchgeführt werden. Dies umfasst die potentiellen Auswirkungen auf die Nutzer und die Gesellschaft, insbesondere bei Anwendungen, die stark in die Privatsphäre oder die Entscheidungsprozesse von Menschen eingreifen könnten (z.B. KI-Systeme zur Gesichtserkennung oder zur Kreditvergabe).

Kontinuierliche Überwachung und Anpassung:

• Das Risikomanagementsystem muss dynamisch sein und auf Veränderungen im Betrieb reagieren können. Insbesondere bei Hochrisiko-KI-Systemen sind daher regelmäßige Überprüfungen unerlässlich, um neuen Risiken entgegenzuwirken.

Risikominderungsstrategien:

• Entwickeln Sie Maßnahmen zur Risikominimierung, die technische, organisatorische und rechtliche Aspekte umfassen. Beispiel: Regelmäßige Überprüfung der Algorithmen auf Verzerrungen.

Externe Audits:

• Selbstkontrolle ist gut, stößt aber an Grenzen und ist erfahrungsgemäß auch ein Einfallstor für Compliance-Verstöße. Externe Audits sind insoweit unverzichtbarer Teil einer smarten Risikomanagementstrategie. 

Ein proaktives Risikomanagementsystem ist nicht nur eine gesetzliche Pflicht, sondern auch ein strategisches Instrument, um den sicheren und ethisch vertretbaren Einsatz von KI-Systemen zu gewährleisten. Die Anforderungen aus der Verordnung zielen darauf ab, die Risiken von Hochrisiko-KI-Systemen zu minimieren und sicherzustellen, dass diese Systeme keine negativen Auswirkungen auf die Grundrechte oder die Sicherheit von Einzelpersonen haben. Die frühzeitige Implementierung eines solchen Systems, das auf die Anforderungen von Art. 9 der KI-VO abgestimmt ist, hilft Unternehmen, Compliance sicherzustellen und das Vertrauen in ihre KI-Anwendungen zu stärken.

Was droht bei Nichteinhaltung der KI-VO?

Die KI-VO enthält einen ausführlichen Abschnitt, der die Sanktionen für Verstöße enthält. Die Verordnung sieht gestaffelte Sanktionen vor, die sich nach der Schwere des Verstoßes richten. Aufgrund ihrer Grundrechtsrelevanz gravierend sind diese insbesondere für Anbieter und Betreiber von Hochrisiko-KI-Systemen.

Geldbußen und Sanktionen gemäß Art. 99 KI-VO

• Bei schwerwiegenden Verstößen, insbesondere gegen die Vorschriften für Hochrisiko-KI-Systeme, können Bußgelder von bis zu 30 Millionen Euro oder 6 % des weltweiten Jahresumsatzes eines Unternehmens verhängt werden – je nachdem, welcher Betrag höher ist.
• Für weniger gravierende Verstöße, die nicht die grundlegenden Rechte oder die Sicherheit von Personen gefährden, können Bußgelder von bis zu 20 Millionen Euro oder 4 % des weltweiten Jahresumsatzes verhängt werden.

Art. 99 Abs. 2 spezifiziert, dass neben finanziellen Strafen auch andere Sanktionen drohen, zum Beispiel:

• Betriebseinschränkungen: Unternehmen können dazu verpflichtet werden, den Einsatz ihrer KI-Systeme einzuschränken oder sogar ganz einzustellen, bis die Konformität mit der Verordnung sichergestellt ist.
• Rückruf von Produkten: In besonders schweren Fällen können Unternehmen dazu gezwungen werden, KI-Systeme vom Markt zu nehmen, wenn diese Systeme als gefährlich oder nicht konform mit den rechtlichen Anforderungen eingestuft werden.

Haftung bei Verstößen

Sowohl Anbieter als auch Betreiber können für Verstöße gegen die Vorschriften haftbar gemacht werden:

• Anbieter von Hochrisiko-KI-Systemen tragen die Hauptverantwortung für die Konformität ihrer Produkte. Sie müssen nachweisen, dass ihre Systeme sicher und nach den gesetzlichen Vorgaben entwickelt wurden. Bei Verstößen können sie nicht nur mit hohen Geldbußen, sondern auch mit strafrechtlichen Konsequenzen rechnen.
• Betreiber, die KI-Systeme unsachgemäß nutzen oder die vorgeschriebenen Überwachungsmaßnahmen vernachlässigen, können ebenfalls zur Verantwortung gezogen werden. Dies gilt insbesondere dann, wenn durch die Nutzung der Systeme grundlegende Rechte von Personen beeinträchtigt werden.

Fazit:

Der Einsatz von KI wird künftig sämtliche Bereiche der Privatwirtschaft und der öffentlichen Einrichtungen mehr oder weniger stark erfassen. Vor dem Hintergrund dieser bahnbrechenden Entwicklung sollten die rechtlichen Leitplanken dieser Entwicklung beachtet, ernst genommen und nicht nur aufgrund der drohenden Bußgelder unbedingt befolgt werden.

Risikobewertung, Schulung von Mitarbeitenden und Dokumentation sind aus dem Datenschutzrecht bereits vertraute Maßnahmen. Diese sind auch beim Einsatz von KI entsprechend zu treffen. Dies ist mit vertretbarem Aufwand zu leisten. 

Organisationen, die bereits über ein Compliance-Management-System verfügen, haben den Vorteil, die Anforderungen der KI-VO in ein bereits vorhandenes Überwachungssystem mit bestehenden Prozessen integrieren zu können. Die geforderten Prozesse und die regelmäßige Überprüfung der Systeme sind jedenfalls unverzichtbarer Bestandteil, um die Vorgaben der KI-VO zu erfüllen.