Gastbeitrag von Finn Niklas Nitz

KI ist längst kein Thema mehr für die IT-Abteilung allein. Chatbots, Übersetzungstools, Bildgeneratoren, automatisierte Dokumentenanalyse – viele Unternehmen nutzen KI-gestützte Anwendungen bereits im Tagesgeschäft, oft ohne klare interne Regeln.

Dass damit auch rechtliche Verantwortung verbunden ist, wird dabei häufig übersehen. Seit Sommer 2024 gilt die europäische KI-Verordnung – und die betrifft nicht nur Entwickler von KI-Systemen, sondern jeden Betrieb, der KI im beruflichen Kontext einsetzt.

KI-Nutzung im Unternehmen: Wer haftet für Fehler?

Ein Mitarbeiter eines Unternehmens aus dem Gesundheitssektor erstellt mit Hilfe eines Chatbots einen Blogeintrag für die Firmenwebsite. Der Mitarbeiter und die redaktionelle Stelle sind zufrieden und der Eintrag geht online. Es stellt sich später allerdings heraus, dass die dem Eintrag innewohnende gesundheitliche Kernaussage nachweislich falsch ist. Der Mitarbeiter kassiert eine Abmahnung.

Nun stellt sich schnell die Frage, wer hier eigentlich schlussendlich die Verantwortung trägt. Der Chatbot, also die KI jedenfalls nicht, denn die Verantwortung trägt am Ende immer noch ein Mensch bzw. das Unternehmen.

Anhand dieses kurzen Beispiels lässt sich schnell erkennen, dass der tägliche Umgang mit KI in keiner Weise ein fernes Zukunftsthema ist. Das hat auch der europäische Gesetzgeber erkannt und daher gilt in Teilen bereits seit Sommer 2024 die europäische KI-Verordnung (AI-Act). Und diese KI-Verordnung betrifft, anders als sie es auf den ersten Blick vermuten lassen würde, nicht nur Tech-Unternehmen und Entwickler von KI-Systemen, sondern auch jedes kleine und mittelgroße Unternehmen.

Die KI-Verordnung betrifft im Grunde alle Unternehmen

Dreh- und Angelpunkt ist der Art. 4 der KI-VO, der die sog. KI-Kompetenz zum Regelungsgegenstand hat. Adressiert werden „Die Anbieter und Betreiber von KI‑Systemen“, und anders als der Wortsinn es vermuten lassen würde, sind mit Betreiber nicht KI-Unternehmen als solche gemeint, sondern jedes Unternehmen, jeder Selbständige und jede sonstige Organisation, die KI-Systeme im beruflichen Kontext nutzen.

Wie das einführende Beispiel verdeutlicht hat, bedarf es keiner hochkomplexen Anwendungsfälle, so reicht schon der Einsatz von Chatbots in der Kundenkommunikation, KI-gestützte Übersetzungssoftware, Tools zur Dokumentenanalyse oder auch Bildgeneratoren. Es lässt sich hier schon erahnen, dass die Anwendungsfälle quasi unendlich sind.

Welche Pflichten haben Unternehmen bei der KI-Nutzung?

Die zentrale Pflicht, welche Art. 4 KI-VO statuiert, ist die, dass die Betreiber (also Unternehmen) dafür Sorge tragen müssen und sicherstellen, dass ihre Beschäftigten über ausreichende KI-Kompetenz verfügen, und zwar grundsätzlich bei jedem Einsatz von KI im Arbeitskontext.

In der Praxis bedeutet das, dass die Mitarbeiter verstehen müssen, welche KI-Tools sie überhaupt verwenden, wofür diese prinzipiell geeignet sind und wo ihre Grenzen liegen. Auch müssen sie lernen, typische Fehler bzw. Fehlerquellen zu erkennen.

Hier sollte nach derzeitigem Stand der Technik ein besonderes Augenmerk auf die sog. Halluzinationen gelegt werden, denn KI-Systeme neigen häufig dazu, Fakten, Quellen, Zitate, schlichtweg zu erfinden. Diese als solche zu erkennen ist auf den ersten Blick viel schwerer, als es vermuten lässt, da diese häufig, gerade auch im Kontext zunächst plausibel klingen.

Würde man solche halluzinierten Ergebnisse nun ungeprüft übernehmen und nutzen, wird aus einem technischen „Problem“ ganz schnell ein eigenes Haftungsproblem. Gerade in so sensiblen Bereichen wie Gesundheit, Recht, Steuern oder Finanzen muss hier ein besonderes Augenmerk auf die sog. Output-Kontrolle gelegt werden, anstatt sich quasi blind auf überzeugende Formulierungen zu verlassen.

Wer haftet für Fehler der KI im Unternehmen?

Das eigentliche Risiko liegt aber in der rechtlichen Ausgestaltung des Haftungsrechts. KI-System als solche sind keine juristischen Personen oder gar natürlichen Personen und können so selbst weder Vertragspartner sein noch selbst für originär verursachte Schäden einstehen. Daher fällt in aller Regel die Verantwortung regelmäßig auf das Unternehmen zurück, welches das System eingesetzt hat bzw. hat einsetzen lassen.

Einmal mehr zeigt sich, dass Unternehmer die zur Anwendung stehenden KI-Tools sorgfältig auswählen, sachgerecht verwenden und den Output stets kontrollieren müssen. Wer eine Output-Kontrolle (nachweislich) unterlassen hat, wird sich im Fall der Fälle niemals mit der Aussage retten können, dass doch die KI den Fehler gemacht hätte.

Auch andere Risiken werden gerne übersehen, so z.B., dass KI Ergebnisse urheberrechtlich geschützte Inhalte enthalten können oder dass durch unsachgemäße Nutzung mit Kundendaten etc. schwerwiegende Datenschutzverstöße im Raum stehen.

Zwar ist auf gesetzgeberischer Seite mit der neuen Produkthaftungsrichtlinie bereits daran gearbeitet worden, dass die KI-Hersteller vermehrt in die Haftung genommen werden können. Hier muss allerdings immer geschaut werden, dass die KI-Tools auch als Produkt qualifiziert werden, damit die Anwendung überhaupt eröffnet ist.

Die neue Richtlinie stellt die Produkteigenschaft von Software/KI gerade ausdrücklich klar (Erwägungsgrund 13 der Richtlinie nennt KI-Systeme explizit). Abschließend sei erwähnt, dass die Richtlinie in Deutschland noch nicht umgesetzt ist (Frist 9.12.2026). Der Regierungsentwurf ist datiert vom Februar 2026.

Was Unternehmen jetzt sofort umsetzen können

An erster Stelle steht eine Bestandsaufnahme der Jetzt-Situation. Welche KI-Tools werden bereits verwendet, von wem und für welche Zwecke? Für viele Betriebe wird erst hier deutlich, dass die Mitarbeiter bereits seit einiger Zeit und in großem Maße KI verwenden, ohne dass es hierfür überhaupt klare Richtlinien – mithin eine KI-Compliance – gibt.

Im Weiteren sollte dann unbedingt eine qualifizierte KI-Schulung der Mitarbeiter erfolgen. Den Mitarbeitern wird hier vermittelt, wie die KI-System grundsätzlich überhaupt funktionieren, welche immanenten Risiken mit der Nutzung einhergehen und welche Kontrollen immer notwendig sind.

Auch sollte in jedem Fall eine interne KI-Richtlinie erstellt werden. Hierfür können auch gut qualifizierte Personen wie Rechtsanwälte beauftragt werden. In solchen KI-Richtlinien wird individuell auf den Betrieb zugeschnitten festgelegt, welche KI-Tools verwendet werden dürfen, für welche Aufgaben eine Nutzung kategorisch ausgeschlossen wird, wie die Output-Kontrollen konkret auszusehen haben und wie eine sichere Dokumentation auszusehen hat.

Nur solche internen Vorgaben schaffen am Ende Rechtssicherheit und beugen effektiv Haftungsfällen vor. Wer sich also proaktiv im Sinne gelebter Compliance mit der KI-Nutzung im eigenen Unternehmen auseinandersetzt, bewahrt sich vor Haftungsrisiken in der Zukunft.

Pin it!