Neuigkeiten im Bereich der KI-Haftung: Verantwortlichkeit für Fehlinformationen eines Chatbots

Neue KI-Anwendungen bringen neue Fragen der zivilrechtlichen Haftung mit sich

Künstliche Intelligenz (KI) verbreitet sich in der Geschäftswelt mit zunehmender Geschwindigkeit. Es gibt wenige Unternehmen, die nicht bereits KI-Lösungen einsetzen oder jedenfalls damit experimentieren. Besonders gefragt sind dabei sogenannte Large Language Models, die natürliche Sprache verstehen und generieren können. Sie verleihen Interaktionen mit Kundinnen und Geschäftspartnern einen menschlichen Touch, ohne dass tatsächlich Mitarbeiter*innen aktiv werden müssen. Frühere Chatbots waren zu nicht viel mehr in der Lage, als auf bestimmte Schlagwörter hin auf die entsprechenden Unterseiten der Website zu verweisen. Auf moderne Large Language Models gestützte Chatbots können dagegen schon heute komplexe Anfragen verstehen und den Anfragenden individuelle und zielführende Antworten geben, die wie die eines Menschen klingen.

Genau wie menschliche Mitarbeiter*innen sind KI-Chatbots aber nicht unfehlbar. Large Language Models sind bekannt dafür zu "halluzinieren", also fiktive Tatsachen als wahr zu präsentieren (siehe hier für mehr Hintergründe zu Risiken beim Einsatz von KI-Systemen). Das wirft die Frage auf: Wer haftet, wenn ein von einem Unternehmen eingesetzter Chatbot falsche Aussagen trifft oder gar Willenserklärungen abgibt? In deutschen Gerichtssälen ist diese Frage soweit ersichtlich bisher nicht aufgekommen; jedenfalls sind keine Entscheidungen veröffentlicht. Anfang des Jahres entschied aber ein kanadisches Gericht über einen Sachverhalt, der sich so oder so ähnlich auch in Deutschland hätte abspielen können. Der Fall eignet sich daher sehr gut für eine Betrachtung der Haftungsfrage nach deutschem Recht.

Einer der ersten KI-Haftungsfälle weltweit: Moffatt v. Air Canada

In dem Fall musste sich das Gericht mit der Frage auseinander setzen, ob Air Canada für die Auskünfte des auf seiner Website eingesetzten Chatbots haften musste: Der spätere Kläger Jake Moffatt buchte im November 2022 einen Hin- und Rückflug von Vancouver nach Toronto, nachdem seine Großmutter verstorben war. Dabei fragte er den Chatbot von Air Canada, ob das Unternehmen eine Ermäßigung für Trauerfälle (sog. Bereavement Fare) anbiete. Der KI-Chatbot teilte Moffatt mit, dass Air Canada eine entsprechende Ermäßigung gewähren würde und hierzu innerhalb von 90 Tagen nach dem Reisedatum ein Erstattungsantrag eingereicht werden müsse. Das entsprach jedoch nicht den tatsächlichen AGB-Regelungen: Danach hätte Moffat den Antrag vor Antritt seines Fluges einreichen müssen. Als Moffatt nach seiner Rückkehr eine Teilerstattung beantragte, lehnte das Unternehmen diese mit Hinweis auf die nach den AGB verspäte Antragstellung ab.

Moffatt erhob Klage vor dem Civil Resolution Tribunal des Bundesstaats British Columbia. Das Gericht gewährte Moffatt eine Teilerstattung des Ticketpreises. Es stellte fest, dass Air Canada unter kanadischem Recht eine Sorgfaltspflicht traf, sicherzustellen, dass Angaben auf der Website korrekt und nicht irreführend sind. Nach Auffassung des Gerichts sind Unternehmen in vollem Umfang für die auf ihrer Website bereitgestellten Informationen verantwortlich. Das gilt unabhängig davon, ob diese sich auf einer statischen Unterseite befinden oder von einem integrierten KI-Chatbot generiert werden. Das Gericht führte aus, dass sich Moffatt in berechtigter Weise auf die vom Chatbot bereitgestellten Informationen verließ und ihm ein Schaden in Form der Differenz zwischen dem regulären Ticketpreis und der ermäßigten Bereavement Fare entstanden sei.

Gedankenexperiment: Betrachtung des Sachverhalts nach deutschem Recht

Wie wäre der Fall also nach deutschem Recht zu beurteilen?

1. Rechtsverbindlicher Vertragsschluss durch Einsatz von KI-Chatbots?

In Betracht kommt zunächst, dass aufgrund der Aussagen des Chatbots ein vertraglicher Anspruch auf Erstattung der Ticketdifferenz entstanden ist. Dazu müssten die Erklärungen des Chatbots als Erklärungen des Betreibers angesehen werden, die dieser mit Rechtsbindungswillen und Erklärungsbewusstsein abgegeben hat.

Die deutsche Rechtsprechung musste sich mit dieser Frage bisher nicht befassen. Auch in der derzeit noch spärlichen Literatur dazu hat sich keine klare Linie herausgebildet. Es ist möglich, dass sich die Rechtsprechung an den bestehenden Grundsätzen für automatisierte Willenserklärungen (etwa bei Online-Käufen) orientiert. Dort gehen die Gerichte von einer Bindung der jeweiligen Betreiberin aus, weil die Systeme auf einer vorab programmierten "Wenn-Dann-Logik" basieren und eine vorhersehbare Liste an Ergebnissen erzeugen. Auf Erklärungen von Large Language Models, die nicht automatisiert, sondern autonom erfolgen, ist das aber nur begrenzt übertragbar: Das KI-System kann Erklärungen abgeben, über die sich der Betreiber im Vorfeld nie Gedanken gemacht hat. In einem solchen Fall werden die Gerichte sich damit beschäftigen müssen, ob die Erklärung trotzdem (auch aus Gründen des Verkehrsschutzes) dem Betreiber zuzuordnen ist.

Im Fall von Moffat hat das kanadische Gericht einen unmittelbaren vertraglichen Anspruch nicht diskutiert. Das ist nachvollziehbar, weil der Chatbot in diesem Fall nur eine Auskunft erteilt hat, aber kein konkretes Vertragsangebot unterbreitet hat. Auch ein deutsches Gericht hätte dieses bisher ungeklärte Problemfeld vermutlich umschifft und sich auf die etablierte Haftung aufgrund vorvertraglicher Pflichtverletzung konzentriert.

2. Vorvertraglicher Schadensersatz bei Falschaussagen des KI-Chatbots?

Die Haftung wegen Verletzung vorvertraglicher Pflichten (sog. culpa in contrahendo) erfasst insbesondere auch Fälle der fahrlässigen Täuschung des potenziellen Geschäftspartners. Die Feststellungen des kanadischen Gerichts wären diesbezüglich auch für eine Bewertung nach deutschem Recht relevant: Es sprechen gute Argumente dafür, dass ein potenzieller Fluggast in schutzwürdiger Weise auf die Informationen auf der Website der Fluggesellschaft vertrauen darf, auch wenn diese durch einen Chatbot vermittelt werden.

Weniger eindeutig ist aber die Frage, ob Air Canada die Falschaussagen des Chatbots rechtlich zu vertreten hatte: Genügt das allgemein bekannte Risiko des Halluzinierens von Large Language Models bereits, um von einer fahrlässigen Sorgfaltspflichtverletzung auszugehen? Eine Rolle wird dabei bei der Bewertung unter deutschem Recht auch spielen, welche Schutzmaßnahmen die Betreiberin ergriffen hat. In Betracht kommen etwa technische Beschränkungen, um falsche Angaben durch den Chatbot zu verhindern oder Hinweise, um Nutzer*innen auf die Unverbindlichkeit der Aussagen aufmerksam zu machen. Das Gericht in Kanada hat hierzu keine Feststellungen getroffen, deutsche Gerichte dürften sich aber für diese Details interessieren. Ob eine Haftung durch solche Maßnahmen aber wirksam verhindert werden kann, wird vom Einzelfall abhängen. Entsprechend des risikobasierten Ansatzes der im Mai 2024 verabschiedeten KI-Verordnung (auch bekannt als "EU AI Act", siehe hier für mehr Hintergründe) werden in Zukunft voraussichtlich auch Einsatzbereich und Fähigkeiten des KI-Systems entscheidend für die Bewertung der Schutzpflichten sein.

Ersatzfähig wäre nach culpa in contrahendo allerdings nur der Vertrauensschaden, also der Schaden, der aus dem Vertrauen auf die Gültigkeit der Erklärung entstanden ist. Im Fall von Moffat lag nahe, dass er bei richtiger Aufklärung über Air Canadas Bedingungen für Bereavement Fares noch vor Buchung des Flugtickets einen Antrag gestellt hätte und dieser genehmigt worden wäre. Sein Vertrauensschaden bestand also in der Differenz zwischen dem gezahlten vollen Flugpreis und der reduzierten Bereavement Fare. Anders wäre es, wenn Air Canada die Ermäßigung eigentlich gar nicht angeboten hätte und Moffat die Reise dann anders geplant hätte. In diesem Fall müsste er darlegen, dass eine günstigere Transportmöglichkeit verfügbar gewesen wäre (z.B. mit einer anderen Fluggesellschaft oder mit anderen Transportmitteln) und ihm deshalb ein Schaden in Höhe der Kostendifferenz entstanden ist.

In jedem Fall kann die Rechtsfigur der culpa in contrahendo nicht zum Ersatz des Erfüllungsinteresses führen, also etwa zur Durchführung eines von einem Chatbot fälschlicherweise als stark vergünstigt angeworbenen Reise zu dem angeblichen Sonderpreis. Dazu wäre ein verbindlicher Vertragsschluss erforderlich.

3. Vertragsanfechtung aufgrund von falschen Angaben des Chatbots?

Aus Sicht des deutschen Rechts käme darüber hinaus auch eine Anfechtung des Vertrags wegen eines Erklärungsirrtums in Betracht.

Im Fall von Moffat kommt ein Irrtum über die Inhalte der Vertragsbedingungen aufgrund der falschen Angaben des Chatbots in Betracht. Um eine Anfechtung zu tragen, muss der Irrtum aber zentrale Bestandteile des Vertrags betreffen. Eine Fehlvorstellung über die nähere Ausgestaltung der AGB stellt grundsätzlich nur einen unbeachtlichen Motivirrtum dar. Abweichend davon wäre der Irrtum wohl dennoch beachtlich, wenn Moffat darlegen könnte, dass die vom Chatbot zugesagt Ermäßigung entscheidend für die Vornahme der Buchung war.

Die Anfechtung würde zur Rückabwicklung des Vertrags führen. An dieser Stelle wäre zu berücksichtigen, dass die Reise bereits stattgefunden, die Leistung also in Anspruch genommen wurde. Um zu beurteilen, ob und in welchem Umfang sich dieser Umstand zu Lasten des Fluggasts auswirkt, müsste ein deutsches Gericht im konkreten Fall Feststellungen zum Marktwert des Flugs und zum Alternativverhalten des Kunden bei wahrheitsgemäßer Aufklärung treffen. Es verbleiben also auch in dieser Hinsicht zahlreiche bisher unbeantwortete Fragen, denen sich deutsche Gerichte in KI‑Haftungsfällen widmen müssen.

Fazit: Handlungsbedarf beim Einsatz von Chatbots zur Vermeidung von Haftungsfallen

Beim Einsatz von Chatbots sollten Unternehmen daher mögliche Haftungsfragen von vorneherein berücksichtigen und bereits jetzt Schritte zur Vermeidung unternehmen. Handlungsbedarf besteht insbesondere in drei Bereichen:

• Auswahl und Einrichtung des KI-Systems: Unternehmen sollten sich bei der Auswahl des Large Language Models, auf dem der Chatbot basieren soll, über die Fähigkeiten und technischen Grenzen des Systems informieren. Der Anbieter oder die internen Entwickler sollten den Einsatzbereich definieren und dem Chatbot Grenzen vorgeben. Dies sollte – auch im Hinblick auf mögliche Rechtsstreitigkeiten – dokumentiert werden.

• Laufende Überwachung, Dokumentation und Verbesserung: Der rechtssichere Einsatz von KI-Systemen erfordert mehr als die bloße Implementierung und Freischaltung auf der eigenen Website. Unternehmen sollten neue KI-Anwendungen zunächst testweise ausrollen, die Ausgaben laufend überwachen und dokumentieren sowie – falls erforderlich – Änderungen vornehmen (lassen), um ungewollte Ergebnisse zu verhindern.

• Transparenz und Kennzeichnung nach außen: Um bei Kund*innen den Eindruck eines Rechtsbindungswillens und dem Vertrauen auf falsche Angaben eines KI-Chatbots von vorneherein entgegenzuwirken, sollte der Einsatz und insbesondere die Grenzen des Systems nach außen kenntlich gemacht werden. In Betracht kommen Warnhinweise, ein zu bestätigendes Pop-Up-Fenster oder eine technische Beschränkung des KI-Chatbots, wodurch er bei jeder Ausgabe auf die Unverbindlichkeit der Angaben hinweist.

Ausblick: EU KI-Gesetzgebung und eigene KI-Rechtspersönlichkeit?

Die Zukunft der Haftung für KI-Anwendungen in Deutschland wird entscheidend von der in diesem Bereich sehr aktiven Gesetzgebung der Europäischen Union beeinflusst. Die KI-Verordnung enthält umfassende Vorschriften für Betreiber und Nutzerinnen von KI-Systemen und für die Nutzung der von KI-Systemen erzeugten Ergebnisse. Auch wenn die KI-Verordnung keine zivilrechtlichen Haftungstatbestände schafft, ist davon auszugehen, dass die darin enthaltenen Pflichten in Haftungsfällen wie dem oben beschriebenen berücksichtigt werden dürften.

Die Verabschiedung der KI-Verordnung hat zudem auch Bewegung in die Verhandlungen über den bereits im Jahr 2022 vorgestellten Entwurf der KI-Haftungsrichtlinie gebracht. Der derzeitige Entwurf enthält unter anderem Kausalitätsvermutungen und Beweiserleichterungen zu Gunsten der Anspruchsteller. Die finale Ausgestaltung der Richtlinie und die Umsetzung in deutsches Recht hat daher für künftige KI-Haftungsstreitigkeiten große Bedeutung, weil Fragen der Kausalität und Beweisführung in diesen Fällen oft eine zentrale Rolle spielen.

Aufgrund der rasanten Steigerung der Leistungsfähigkeit von KI-Systemen und der Schwierigkeiten, mit den damit zwangsläufig verbundenen Risiken innerhalb des bestehenden Rechtssystems umzugehen, werden auch unkonventionelle Lösungsansätze diskutiert. Einer dieser Vorschläge ist, KI-Systeme mit einer eigenen Rechtspersönlichkeit auszustatten (sog. "ePerson"). Das KI-System könnte damit nicht nur im Sinne einer echten Stellvertretung Willenserklärungen für die jeweiligen Betreiber abgeben, sondern wäre auch Adressat von Haftungsansprüchen. Zum Schutz potentiell Geschädigter müsste das KI-System dafür mit einem ausreichenden Haftungsfonds ausgestattet werden. Alternativ könnte der Schutz der Betreiber, Nutzerinnen und Dritter aber möglicherweise auch durch eine Pflicht-Haftpflichtversicherung erreicht werden, ohne dass dafür ein so radikaler Eingriff in das bestehende Privatrechtssystem erforderlich ist.

Sicher ist, dass es im Bereich der KI-Haftung in den kommenden Jahren viel Bewegung geben wird, sowohl auf Seiten des Gesetzgebers, als auch in den Gerichten. Unternehmen, die KI-Anwendungen einsetzen, sollten diese Entwicklung sorgfältig beobachten und sich auf Streitigkeiten in diesem Zusammenhang vorbereiten.

Verfasst von Martin Strauch, Marinus Hamberger und Tobias Wetlitzky.