Wie zuverlässig sind KI-Detektoren? Was die Zahlen wirklich bedeuten
Ein KI-Detektor zeigt dir ein Ergebnis, und das wirkt eindeutig. Ganz so einfach ist es aber nicht. Wie zuverlässig ein Tool ist, hängt davon ab, welche Art von Fehler du betrachtest, in welcher Sprache der Text geschrieben ist und wie stark er überarbeitet wurde. Damit du das einordnen kannst: Diesen Beitrag schreiben wir, die Macher von ki-text-erkennen.de.
Genauigkeit von KI-Detektoren: Präzision und Erkennungsrate
Hinter der Genauigkeit stecken zwei Fragen. Die erste lautet: Wenn das Tool „KI“ sagt, wie oft stimmt das? Das ist die Präzision. Die zweite lautet: Wie viele KI-Texte findet es überhaupt? Das ist die Erkennungsrate, im Fachjargon Recall. Ein Tool kann sehr präzise sein und trotzdem manche KI-Texte übersehen. Genau so ist es bei unserem kostenlosen KI-Text-Check: Markiert er einen Text als KI, stimmt das in 94,5 % der Fälle, aber nicht jeder KI-Text wird erkannt. Ein Treffer ist also ein ernstzunehmender Hinweis, ein unauffälliges Ergebnis aber keine Entwarnung.
Falsch-positive und falsch-negative Ergebnisse
Falsch-positiv heißt, ein menschlicher Text wird als KI markiert, und falsch-negativ heißt, ein KI-Text rutscht durch. Beides kommt bei allen Tools vor. In einer Studie von Weber-Wulff und Kollegen blieben alle 14 getesteten KI-Erkennungstools unter 80 % Genauigkeit. Menschliche Texte wurden zu 96 % richtig eingeordnet, unbearbeitete KI-Texte nur zu 74 % und mit einem Umformulierungstool überarbeitete nur noch zu 26 %. Selbst OpenAI hat seinen eigenen Klassifikator 2023 wieder abgeschaltet, weil er nur 26 % der KI-Texte erkannte und 9 % der menschlichen Texte fälschlich als KI einstufte.
Warum englische Tools bei deutschen Texten schwächeln
Viele bekannte KI-Detektoren sind vor allem auf Englisch ausgerichtet, und schon kleine Abweichungen vom Gewohnten bringen sie aus dem Takt. In einer Studie von Liang und Kollegen stuften sieben Detektoren englische Aufsätze von Nicht-Muttersprachlern im Schnitt zu 61 % als KI ein. OpenAI schrieb außerdem, dass sein Klassifikator in anderen Sprachen als Englisch deutlich schlechter funktionierte. Für Deutsch braucht es deshalb Muster aus deutschen Texten, und genau darauf baut ki-text-erkennen.de auf. Welche Muster das sind, liest du in Woran erkennt man KI-Texte?
Kein KI-Detektor ist ein Beweis
Ein Detektor berechnet eine Wahrscheinlichkeit, mehr nicht. Auch eine Stellungnahme aus der Hochschullehre kommt zu dem Schluss, dass KI-Detektoren nicht zuverlässig sind, und hält fest, dass Gerichte ihre Ergebnisse bisher nur als Indiz gewertet haben. Nutze ein Tool deshalb als Hinweis, wo du noch einmal genau hinschauen solltest, und nicht als Urteil.
Häufig gestellte Fragen
Wie genau ist ki-text-erkennen.de?
Die 94,5 % sind die Präzision, nicht die Gesamtgenauigkeit: Markiert unser Tool einen Text als KI, stimmt das in 94,5 % der Fälle. Nicht jeder KI-Text wird erkannt.
Kann mein eigener Text als KI markiert werden?
Ja, das kann bei jedem Detektor passieren. Unser Tool zeigt dir bei jeder Markierung, warum sie auffällt, damit du es selbst nachvollziehen kannst.
Kann ein KI-Detektor beweisen, dass ein Text von ChatGPT stammt?
Nein. Er liefert eine Wahrscheinlichkeit, und welches Modell einen Text geschrieben hat, sagt dir unser Tool nicht.