Rechtliche Halluzinationen der künstlichen Intelligenz landen vor europäischen Gerichten
Zunächst wirkt der Fall wie ein alltäglicher Rechtsstreit: Ein Kläger zieht im Konflikt mit einer französischen Familienkasse (CAF) vor das Gericht in Périgueux. Nach einem Schriftwechsel prüft die zuständige Sozialkammer die Unterlagen sorgfältig und fällt schließlich ihr Urteil.
Zunächst wirkt der Fall wie ein alltäglicher Rechtsstreit:
Ein Kläger zieht im Konflikt mit einer französischen Familienkasse (CAF) vor das Gericht in Périgueux. Nach einem Schriftwechsel prüft die zuständige Sozialkammer die Unterlagen sorgfältig und fällt schließlich ihr Urteil.
Nur gibt es da ein Problem: Der Schriftsatz des Klägers stützt sich mehrfach auf Rechtsprechungen, die das Gericht nicht auffinden kann. Andere Argumente basieren auf Urteilen, die zwar existieren, deren Details (Datum, Thema) jedoch nicht übereinstimmen.
In seiner Entscheidung vom 18. Dezember 2025 stellt die Sozialkammer von Périgueux fest, dass bestimmte angeführte Rechtsprechungen nicht auffindbar oder fehlerhaft sind, und fordert den Antragsteller und seinen Anwalt – obwohl sie in der Sache obsiegt haben – ausdrücklich auf, sicherzustellen, dass ihre Quellen keine „Halluzinationen” sind, die aus Suchmaschinen oder Tools der künstlichen Intelligenz („KI”) stammen.
Über diesen Rechtsstreit hinaus hat dies eine größere Tragweite: Zum ersten Mal, so scheint es, verwendet ein französischer Richter in seiner Begründung Fachbegriffe aus dem Bereich der KI. Und dies wird wahrscheinlich nicht das letzte Mal gewesen sein.
Halluzinationen weltweit
Seit dem Frühjahr 2025 und im Rahmen meiner Vorlesungen darüber, wie KI den Rechtsberuf neu gestalten wird, bemühe ich mich, solche Fälle weltweit zu erfassen. Ich pflege eine Datenbank, die bereits 900 Fälle umfasst, in denen ein Gericht oder Tribunal sich mit dem Einsatz generativer KI-Tools befasst hat, die zu solchen Halluzinationen geführt haben.
Diese Zahl ist natürlich zu niedrig angesetzt: Die Datenbank erfasst nur explizite Entscheidungen zu diesem Thema, und es ist sicher, dass viele andere Halluzinationen bewusst oder unbewusst übersehen wurden.
KI ist nicht darauf trainiert, „Nein“ zu sagen.
Ich pflege übrigens eine Datenbank, die bereits 900 Fälle umfasst, in denen sich ein Gericht mit der Verwendung generativer KI-Tools befasst hat, die zu solchen Halluzinationen geführt haben.
Die meisten der erfassten Fälle zeugen von Unkenntnis der KI seitens der betroffenen Parteien: Oft betrachten Menschen generative KI als Quelle der Wahrheit und ignorieren dabei den probabilistischen Ansatz, der diesen Systemen zugrunde liegt.
Man vergisst auch, dass KI-Systeme allzu oft nicht darauf trainiert sind, „Nein“ zu sagen, und lieber eine Rechtsquelle erfinden, als dem Nutzer Unrecht zu geben. Diese Fälle zeigen auch, dass das Idealbild eines Anwalts, der seine Schlussfolgerungen zieht und seine Akte beherrscht, oft weit von der Realität entfernt ist: In vielen Situationen wird das juristische Argument von einer Vielzahl von Personen und Werkzeugen erstellt, deren Koordination der KI ebenso viele Möglichkeiten bietet, eine Halluzination einzuschleusen.
Die Idee dieser Datenbank besteht jedoch nicht darin, die „Gefahren“ der KI im rechtlichen Bereich aufzuzeigen, sondern vielmehr, etwas Licht in die Unfälle einer noch nicht ganz ausgereiften Technologie zu bringen und mögliche Lösungen zu identifizieren, um eine ordnungsgemäße Nutzung dieser neuen Instrumente zu gewährleisten.
Der sinnvolle Einsatz von KI
Diese Lösungen sind allgemein bekannt und beruhen insbesondere auf dem sinnvollen Einsatz von KI je nach Anwendungskontext: Man verwendet nicht unbedingt dasselbe Tool für verschiedene Aufgaben, genauso wie man nicht alles und jedes wahllos an einen Kollegen oder Untergebenen delegiert. Ein auffälliger Punkt der Datenbank ist, dass sich Richter und andere Parteien weltweit des Potenzials der KI bewusst sind, die Funktionsweise der Justiz zu verbessern und den Zugang zu Gerichten zu erleichtern; fast alle Entscheidungen erwähnen dies.
Allerdings hängt alles davon ab, wie man sie einsetzt. Einer der Schlüssel dazu ist das Kontextmanagement: Der beste Weg, um das Beste aus der KI herauszuholen, besteht darin, sicherzustellen, dass sie sich auf bestimmte Rechtsvorschriften stützt und diese nutzt, die sie dann zitieren kann, um die Überprüfung zu erleichtern.
Bei Doctrine sind alle von der KI generierten Informationen mit Quellen nachprüfbar.
Laura Wiest
Aber auch wenn man hoffen kann, sie zu reduzieren, kann man nicht garantieren, dass keine Halluzinationen auftreten.
Aus diesem Grund müssen sich Rechtsakteure an bestimmte epistemische Grundsätze halten: Sie dürfen sich nicht vollständig auf automatisch generierte Inhalte verlassen und müssen den Umfang der Überprüfung an die Bedeutung dieser Inhalte anpassen. Auch hier kann KI jedoch dabei helfen, den Überprüfungsprozess teilweise zu automatisieren.
Die Rolle des Anwalts
Einer der Gründe, warum Halluzinationen in Frankreich bisher nicht wirklich verbreitet sind, liegt in der wichtigeren Rolle des Anwalts in Rechtsstreitigkeiten.
Tatsächlich betrifft die Mehrheit der Fälle in der Datenbank Personen, die sich selbst vertreten – eine Situation, die in Frankreich, wo es oft notwendig ist, einen Anwalt zu beauftragen, viel seltener vorkommt. Die gängige Praxis, die Urteile und Rechtsquellen, auf die man sich stützt, vorzulegen, ist ebenfalls sehr nützlich, um die Verbreitung von Halluzinationen einzudämmen. Im Fall von Périgueux war ein Anwalt anwesend, da der Kläger Prozesskostenhilfe beantragt und erhalten hatte. Es scheint jedoch, dass sich der zuständige Anwalt auf die Schriftsätze seines Mandanten verlassen hat, ohne diese ausreichend zu hinterfragen.
Auch hier offenbart die Halluzination eine Realität: Es handelt sich wahrscheinlich nicht um einen Einzelfall, und es geht nicht darum, mit Steinen zu werfen. Aber sie erinnert auch an einen wesentlichen Punkt: Letztendlich ist es der Anwalt, der im Rechtsprozess Verantwortung übernimmt, und es ist seine Aufgabe, dafür zu sorgen, dass dieser nicht durch Konfabulationen blockiert wird. Wenn das Erstellen von Texten nichts mehr kostet, wird die Feststellung der rechtlichen Wahrheit zu einer Frage der Tools, der Daten und des Urteilsvermögens.
JD[Name Placeholder]Partner, [Firm Placeholder]
Damien Charlotin ist Co-Direktor des Smart Law Hub an der HEC Paris und assoziierter Forscher an der Sciences Po Paris. Er ist im Bereich des Völkerrechts tätig und hat gerade ein Tool auf den Markt gebracht, das die Überprüfung von Zitaten und Referenzen automatisiert.