Erfundene Quellen in KI-Texten: So prüfen Unternehmen richtig
17. Oktober 2026
KI-generiert, redaktionell von 8thsense ausgewählt, geprüft und freigegeben. EU AI Act, Art. 50
Ein neues Online-Tool namens CiteProof soll Anwälten ersparen, was inzwischen fast täglich vor Gericht passiert: Schriftsätze mit Urteilen, die es nie gegeben hat. Eine öffentliche Datenbank zählt mittlerweile 2.199 Gerichtsentscheidungen weltweit, in denen KI-erfundenes Material eine Rolle spielte, elf davon aus Deutschland. Das Problem ist aber keines, das nur Kanzleien haben. Wer im Unternehmen Angebote, Berichte, Förderanträge oder Fachtexte mit Künstlicher Intelligenz erstellt, hat dasselbe Risiko und braucht einen eigenen Prüfprozess.
Was CiteProof macht und was nicht
CiteProof richtet sich an US-Juristen. Nutzer laden einen Schriftsatz als Word- oder PDF-Datei hoch, das Tool zieht alle Fundstellen heraus und gleicht sie mit der öffentlichen Urteilsdatenbank CourtListener ab, Bundesgesetze zusätzlich mit GovInfo. Jede Fundstelle bekommt eines von drei Ergebnissen: verifiziert, prüfbedürftig oder nicht prüfbar (Quelle: getciteproof.com). Die einfache Existenzprüfung ist kostenlos, ein vollständiger Bericht kostet 49 US-Dollar pro Schriftsatz, fünf Stück 199 US-Dollar. Bemerkenswert ist der Ansatz: Laut Anbieter arbeitet das Tool ohne Sprachmodell, die Prüfung läuft rein deterministisch per Datenbankabgleich. Sinngemäß heißt es, KI-Halluzinationen ließen sich nicht zuverlässig mit noch mehr KI-Raterei finden (Quelle: theregister.com). Ehrlich benennt CiteProof auch die Grenzen: Ob eine Quelle die eigene Aussage überhaupt stützt, prüft das Tool nicht. Diese Arbeit bleibt beim Menschen.
Auch deutsche Gerichte haben genug davon
Dass das kein US-Phänomen ist, zeigen zwei Entscheidungen aus Deutschland. Das Amtsgericht Köln stellte im Juli 2025 in einem Familienverfahren fest, dass ein Fachanwalt eine Kommentarstelle mit einer Randnummer zitiert hatte, die nicht existiert, und eine Monografie, die das Gericht nicht finden konnte (Az. 312 F 130/25). Das Gericht forderte ihn auf, solche Ausführungen künftig zu unterlassen (Quelle: beck-aktuell.de). Das Kammergericht Berlin ging im November 2025 weiter: Eine Anwältin hatte sich auf eine BGH-Entscheidung berufen, die es nicht gibt. Das Gericht sprach von einer offenbar „fantasierenden” KI, rügte die Anwältin und betonte die Pflicht, Fundstellen selbst zu prüfen (Az. 17 WF 144/25, Quelle: beck-aktuell.de). Die Zahl von 2.199 Fällen stammt aus der Datenbank des Forschers Damien Charlotin und erfasst vor allem Fälle, in denen ein Gericht die Halluzination ausdrücklich oder erkennbar festgestellt hat (Quelle: damiencharlotin.com). Die Dunkelziffer dürfte deutlich höher liegen.
Warum das jedes Unternehmen betrifft
Einen prominenten Fall außerhalb eines Gerichtssaals lieferte ausgerechnet ein Beratungshaus. Deloitte Australien sagte dem australischen Arbeitsministerium zu, die letzte Rate eines Honorars von insgesamt 440.000 australischen Dollar zurückzuerstatten. Ein 237 Seiten starker Bericht enthielt ein erfundenes Zitat aus einem Bundesgerichtsurteil, Verweise auf nicht existierende Forschungsarbeiten und ein Buch, das die genannte Professorin nie geschrieben hat. Die überarbeitete Fassung weist nun den Einsatz von Azure OpenAI aus (Quelle: AP via yahoo.com). Übertragen auf den Mittelstand heißt das: Ein Pflegedienst, der im Antrag an die Kasse eine Vorschrift falsch zitiert, ein Handwerksbetrieb, dessen Angebot eine erfundene DIN-Norm nennt, oder ein Verein, dessen Förderantrag eine nicht existierende Studie anführt, verliert im besten Fall Zeit und im schlechtesten Fall Geld und Glaubwürdigkeit.
Ein einfacher Prüfprozess in vier Schritten
Für deutsche Geschäftsdokumente ist ein vergleichbares Spezialtool bislang kaum verbreitet. Ein belastbarer Ablauf lässt sich trotzdem ohne großen Aufwand einführen:
Kennzeichnen: Jedes Dokument, an dem KI mitgeschrieben hat, wird intern markiert. Wer ein Dokument freigibt, weiß dann, dass genauer hingeschaut werden muss.
Belege extrahieren: Alle Zahlen, Paragrafen, Normen, Studien und Zitate werden in einer kurzen Liste gesammelt, bevor das Dokument rausgeht.
Gegen die Quelle prüfen: Jeder Eintrag wird an der Originalquelle geöffnet, etwa auf gesetze-im-internet.de, beim Normungsinstitut oder in der Studie selbst. Was sich nicht finden lässt, fliegt raus.
Vier-Augen-Freigabe: Bei Dokumenten mit Außenwirkung (Angebote, Anträge, Gutachten, Behördenschreiben) zeichnet eine zweite Person ab.
Ein Teil davon lässt sich automatisieren. Gerade das Extrahieren von Fundstellen und der Abgleich mit festen Datenquellen eignen sich gut für KI-Automation mit festen Prüfschritten, ganz im Sinne des CiteProof-Prinzips: Das Sprachmodell schreibt, ein deterministischer Schritt prüft. Wichtig ist, dass der Prüfschritt im Workflow fest verankert ist und nicht als optionaler Klick am Ende hängt.
Was das für Unternehmen bedeutet
Die eigentliche Lehre aus CiteProof ist weniger das Tool selbst als das Prinzip dahinter: KI-Texte werden nicht dadurch verlässlich, dass man eine zweite KI drüberlaufen lässt. Verlässlich werden sie, wenn Erstellung und Prüfung getrennt sind und die Prüfung gegen echte Datenquellen läuft. Für ein Unternehmen mit 20 oder 100 Beschäftigten bedeutet das keinen großen Rollout. Ein Anfang ist eine einseitige Regel für alle, die mit ChatGPT, Copilot oder Claude arbeiten, plus eine benannte Person je Abteilung, die Außendokumente freigibt. Aufwand: ein halber Tag für die Regel, danach wenige Minuten pro Dokument.
Schwieriger wird es, wenn KI tiefer in Prozesse eingebunden ist, etwa wenn Angebote automatisch aus dem CRM entstehen oder Pflegedokumentation vorformuliert wird. Dann reicht die Checkliste nicht mehr, der Prüfschritt muss technisch in den Ablauf eingebaut werden, mit Anbindung an die Datenquellen, die im eigenen Betrieb wirklich zählen. Fertige Standardlösungen decken das selten ab, weil jeder Betrieb andere Quellen, Vorlagen und Freigabewege hat. Wer hier sauber aufsetzt, bevor der erste Fehler beim Kunden oder beim Amt landet, spart sich die Erklärung hinterher.
