Wissen

Leitfäden

KI irrt sich und klingt trotzdem sicher: So prüfst du KI-Ergebnisse im Betrieb

Eine KI hält einen Hund für einen Tiger. Was das mit deinen Angeboten und Tabellen zu tun hat und wie du Fehler abfängst.

KI irrt sich und klingt trotzdem sicher: So prüfst du KI-Ergebnisse im Betrieb

Was siehst du auf dem Bild unten? Einen Hund, der im Schatten eines Zauns liegt. Die Schattenstreifen lassen sein Fell gestreift aussehen. Eine Bilderkennung, die nur auf das Muster schaut, könnte Streifen sehen und sagen: Tiger.

Mit KI nachgestelltes Foto: Ein Hund liegt hinter einem Zaun, dessen Schatten Streifen auf sein Fell wirft. Ein grüner Rahmen mit der Beschriftung „Tiger“ zeigt, was eine Bilderkennung daraus machen könnte; ein Pfeil mit „Context“ zeigt auf den Zaun. Darunter ein Ausschnitt des gestreiften Hundes.
Mit KI nachgestelltes Beispielbild nach einem Motiv, das im Netz kursiert: Die Streifen sind nur der Schatten des Zauns – wer das übersieht, sieht einen Tiger.

Das Bild ist eine Illustration, kein Messergebnis: Das Motiv kursiert im Netz, unsere Fassung ist mit KI nachgestellt. Es zeigt aber gut, worum es geht: Die KI würde das Muster erkennen, aber nicht den Zusammenhang, also den Zaun, der den Schatten wirft. Und sie würde nicht zweifeln. So arbeitet KI im Kern, vereinfacht gesagt: Sie erkennt Muster. Fehlt ihr der Zusammenhang, füllt sie die Lücke mit dem, was am wahrscheinlichsten passt, und kann dabei genauso sicher klingen wie bei einer richtigen Antwort. Das IT-Sicherheitsprojekt OWASP beschreibt es ähnlich: Halluzinationen entstehen, wenn Sprachmodelle Lücken in ihren Trainingsdaten mit statistischen Mustern füllen, ohne den Inhalt wirklich zu verstehen. Den Anstoß zu diesem Beitrag gab ein LinkedIn-Beitrag von Alex Lichtenberger. Was heißt das für einen Betrieb, der KI für Angebote, Texte oder Kalkulationen nutzt?

Das Wichtigste in 30 Sekunden

  • KI erkennt Muster. Fehlt ihr der Zusammenhang, füllt sie die Lücke mit etwas Plausiblem und kann dabei genauso sicher klingen wie bei richtigen Antworten.
  • Typische Fehlerstellen nennt OpenAI selbst: seltene Fakten, Datumsangaben, Zitate und Quellen. Dazu kommen Fragen, bei denen wichtige Angaben fehlen.
  • Nicht jede Antwort braucht dieselbe Kontrolle. Entscheidend ist, was ein unbemerkter Fehler anrichten würde.
  • Gib der KI den Zusammenhang mit: eigene Unterlagen und die Erlaubnis, „weiß ich nicht“ zu sagen. In einer Studie senkte eine solche Anweisung die Fehler deutlich, aber nicht auf null.
  • Zahlen aus der KI rechnest du an einer Stelle selbst nach, bevor du dich auf sie verlässt.

Ein ähnliches Prinzip bei ChatGPT

Das Bild zeigt eine Bilderkennung, bei Texten passiert Ähnliches. Dort heißt es Halluzination: plausible, aber falsche Aussagen, so die Definition von OpenAI, dem Hersteller von ChatGPT, in einem Forschungsbeitrag vom September 2025.

Sprachmodelle wie ChatGPT lernen an riesigen Textmengen, wie ein Text weitergeht. Rechtschreibung folgt festen Mustern, seltene Einzelfakten wie der Geburtstag eines Haustiers nicht. Bei solchen Fakten entstehen Halluzinationen. Dazu kommt: Die Tests, mit denen Sprachmodelle trainiert und verglichen werden, zählen meist nur richtige Antworten. Wer rät, hat eine Chance. Wer „weiß ich nicht“ sagt, bekommt sicher null Punkte. Also rät das Modell.

Schaubild: Warum Sprachmodelle lieber raten – „Ich weiß es nicht“ bringt sicher 0 Punkte, Raten beim Geburtstag immerhin eine Chance von 1 zu 365; Merksatz: Raten wird belohnt, Zugeben nicht
Wer raten darf, rät – das gilt auch für Sprachmodelle.

Als typische Fehler nennt OpenAI falsche Datumsangaben sowie erfundene Zitate und Quellen und empfiehlt, ChatGPT als ersten Entwurf zu nutzen, nicht als endgültige Quelle. Eine KI-Antwort ist ein Vorschlag, kein Ergebnis.

Zwei eigene Fälle: der Tiger im Alltag

Die Steckachse. Für einen Fahrradanhänger brauchte ich eine passende Steckachse, also die Achse, die das Hinterrad im Rahmen hält und an der der Anhänger befestigt wird. ChatGPT empfahl ein Modell und war sich irgendwann „100 %“ sicher, dass es passt. Dabei hatte es unter anderem aus der Breite der Hinterradnabe auf die Achse geschlossen. Wie lang die Achse sein muss und welches Gewinde der Rahmen hat, war nicht geprüft. Erst später räumte ChatGPT ein, dass man dafür die Originalachse genauer prüfen müsste. Das ist der Tiger in Textform: Es fehlte der Zusammenhang, und die KI füllte die Lücke mit einer sicheren Antwort. Für einen Handwerksbetrieb heißt das: Eine plausible Empfehlung für ein Ersatzteil ersetzt keine geprüften technischen Daten.

Die Excel-Kalkulation. Die zweite Spielart: Das Ergebnis sieht professionell aus und rechnet trotzdem falsch. ChatGPT hatte mir eine Kalkulation gebaut, mit sauberen Tabellen, Eingabefeldern und automatisch berechneten Kennzahlen. Sie rechnete mit Preisen, Kosten und Umsatz, also mit genau dem, was auch eine Bäckerei oder ein Handwerksbetrieb plant. Ich wollte, dass sich die jährliche Steigerung auf das jeweilige Vorjahr bezieht. Die Tabelle rechnete das zunächst anders. Ein einfaches Beispiel zeigt, warum das zählt: Zehn Prozent pro Jahr auf 100.000 Euro ergeben im dritten Jahr 121.000 Euro, nicht 120.000.

Schaubild mit Beispielzahlen: 100.000 Euro Umsatz und zehn Prozent Wachstum pro Jahr – falsch gerechnet (immer plus 10.000 Euro) ergibt im dritten Jahr 120.000 Euro, richtig auf das Vorjahr gerechnet 121.000 Euro
Mit Beispielzahlen sieht man sofort, ob eine Steigerung richtig gerechnet ist.

Dazu kam eine Formel, die mit einem Prozentwert weiterrechnete, wo ein Eurobetrag hingehört hätte. Ohne eigene Kontrolle hätte ich die Fehler möglicherweise übersehen. Als ich ChatGPT später bat, in unseren Chats die eigenen Fehler zu suchen, fand es unter anderem die Kalkulation und die Steckachse, konnte aber nicht garantieren, dass ihm alle früheren Chats zur Verfügung standen.

Gefährlich wird das, wenn niemand mehr hinschaut. Je professioneller ein Ergebnis aussieht, desto fertiger wirkt es. Auch im Protokoll-Selbstversuch hier im Blog waren im fertig wirkenden Entwurf einige Namen falsch geschrieben. Und was ein Chatbot auf der Website deines Betriebs sagt, sagst am Ende du: So hat das OLG Hamm die Falschangaben eines Website-Chatbots dem Betreiber zugerechnet.

Nicht jede Antwort braucht dieselbe Kontrolle

Alles zu prüfen, ist nicht realistisch. Entscheidend ist eine Frage: Was passiert, wenn dieser Fehler unbemerkt durchrutscht?

Stufe 1: Frei nutzen. Ideen, Überschriften, erste Entwürfe. Ein Fehler fällt sofort auf oder schadet nicht.

Stufe 2: Gezielt prüfen. Angebote, Exposés, Kundenantworten, Auswertungen. Geprüft werden Zahlen, Namen, Daten, Zusagen und alles, was nach Tatsache klingt.

Stufe 3: Nur mit Freigabe. Buchungen, Preise, Zahlungen, Allergen- und Sicherheitsangaben. Die KI darf vorbereiten, ausgeführt wird erst nach Freigabe durch eine benannte Person.

Stufenmodell mit drei Stufen: frei nutzen (Ideen, Entwürfe), gezielt prüfen (Angebote, Exposés, Kundenantworten, Auswertungen), nur mit Freigabe (Buchungen, Preise, Zahlungen, Allergenangaben); Leitfrage: Was passiert, wenn dieser Fehler unbemerkt durchrutscht?
Nicht das Werkzeug entscheidet über die Kontrolle, sondern die Folgen eines Fehlers.

Ein Beispiel aus der Gastronomie: Lässt die Inhaberin ihre Speisekarte von der KI kürzer formulieren, ist das Stufe 1. Fällt dabei aber der Hinweis auf Nüsse weg, geht es um die Gesundheit von Gästen, und das ist Stufe 3. Für den Einstieg reicht eine kurze Teamrunde: Sammelt, wofür bei euch KI genutzt wird, auch im privaten Konto ohne Wissen des Betriebs (siehe Schatten-KI), und ordnet jeden Punkt einer Stufe zu.

Drei Regeln: Gib der KI den Zusammenhang

Beim Tiger übersah die KI den Zaun. Bei der Steckachse fehlten Maße. Die ersten beiden Regeln sorgen dafür, dass die KI den Zusammenhang bekommt oder zugibt, dass er fehlt. Die dritte fängt ab, was trotzdem durchrutscht.

1. Eigene Unterlagen mitgeben. Preise gehören in die Preisliste, Allergene in die Rezeptur, technische Maße ins Datenblatt. Gib der KI diese Unterlagen mit und gleiche das Ergebnis damit ab. Das empfiehlt auch das OWASP Gen AI Security Project, eine weltweite, offene Initiative von Fachleuten für IT-Sicherheit.

2. Der KI erlauben, „weiß ich nicht“ zu sagen. Ein Satz wie „Erfinde keine Fakten“ ist ein guter Anfang. Allein reicht er nicht, denn laut OpenAI kann die KI auch bei falschen Antworten sehr sicher klingen. Erlaube ihr deshalb ausdrücklich, Unsicherheit zuzugeben, und lass sie fehlende Angaben nennen. Laut Anthropics Dokumentation zu Claude kann schon die Erlaubnis, Unsicherheit zuzugeben, falsche Angaben deutlich verringern. Wie viel so eine Anweisung bringen kann, zeigt eine Studie (Communications Medicine, 2025): In 300 Fallbeschreibungen mit je einem absichtlich erfundenen Begriff gingen sechs KI-Modelle ohne Zusatz im Schnitt in 66 Prozent der Fälle darauf ein, mit der Anweisung, nur Gesichertes zu verwenden und Unsicherheit zuzugeben, in 44 Prozent. Die Werte gelten für diesen absichtlich schweren Test, nicht für den Alltag. Fehler werden also seltener, aber nicht null. Mein Zusatz, wenn ich nach technischen Produkten frage:

Mein Zusatz für technische Fragen

„Wenn du etwas nicht sicher weißt, sag das, statt zu raten. Erfinde keine Zahlen, Quellen oder technischen Daten. Nenne mir ausdrücklich alle Angaben, die für eine zuverlässige Empfehlung noch fehlen. Trenne bestätigte Fakten von Annahmen und behaupte keine Sicherheit, wenn wichtige Informationen nicht geprüft wurden.“

3. Selbst nachrechnen und selbst entscheiden. Bei Zahlen hilft schon ein einziger Wert, den du von Hand nachrechnest. Stimmt er nicht, gehört die ganze Tabelle auf den Prüfstand. Die KI darf mitprüfen, entscheiden muss bei wichtigen Ergebnissen ein Mensch. In einem Betrieb mit 30 Leuten kann das die Bürokraft für Angebote sein und die Küchenchefin für die Speisekarte.

Zum Ausprobieren: eine KI-Tabelle in fünf Minuten prüfen

  1. 1Nimm eine Tabelle, die eine KI für dich gebaut hat, etwa eine Preis- oder Umsatzplanung.
  2. 2Such dir einen Wert aus, zum Beispiel den Umsatz im dritten Jahr, und rechne ihn mit dem Taschenrechner nach.
  3. 3Weicht er ab, frag nach: „Warum rechnest du hier so?“ Die Korrektur prüfst du genauso.

Meine Einschätzung

Trotz dieser Beispiele würde ich nicht auf die Idee kommen, weniger KI einzusetzen. Gerade kleine Betriebe können damit Angebote vorbereiten, Dokumente strukturieren oder erste Kalkulationen entwickeln, wofür früher deutlich mehr Zeit oder Hilfe von außen nötig war.

KI muss nicht perfekt sein, um sehr nützlich zu sein. Ich nutze ChatGPT weiterhin fast täglich. Aber ich habe gelernt, eine überzeugend formulierte Antwort nicht mit einer richtigen gleichzusetzen. KI kann uns viel Arbeit abnehmen. Die Verantwortung für das Ergebnis nimmt sie uns nicht ab.

Ein Gedanke zum Mitnehmen

Nimm die letzte Kalkulation oder das letzte Angebot, an dem bei euch eine KI mitgearbeitet hat. Ist klar geregelt, wer das Ergebnis überprüft?

Quellen

Abgerufen am 23.10.2026, zuletzt geprüft am 25.10.2026