Ein Bericht ist erstellt, die Zahlen wirken plausibel und das Dokument sieht ordentlich aus. Bevor daraus eine Entscheidungsgrundlage oder eine Veröffentlichung wird, lohnt sich eine systematische Prüfung. Stimmen die Aussagen mit den Quellen überein? Sind Berechnungen nachvollziehbar? Enthält die fertige Datei alles, was beauftragt wurde?
In diesem Teil der Serie geht es darum, Ergebnisse aus ChatGPT gezielt zu kontrollieren, Fehler einzugrenzen und brauchbare Zwischenstände weiterzuentwickeln.
Qualität beginnt mit überprüfbaren Anforderungen
Schon im Auftrag sollte stehen, woran Sie ein brauchbares Ergebnis erkennen. „Erstelle einen guten Projektbericht“ lässt viele Fragen offen. Konkreter wird es mit Zielgruppe, Umfang, Pflichtinhalten, Datenstand und Ausgabeformat.
Ein geeigneter Auftrag lautet beispielsweise:
Erstelle aus den bereitgestellten Unterlagen einen zweiseitigen Projektbericht für die IT-Leitung. Behandle Projektstand, Kosten, Risiken und nächste Schritte. Belege zentrale Aussagen mit Dateiname und Fundstelle. Kennzeichne fehlende Angaben ausdrücklich. Stelle berechnete Kennzahlen mit ihrer Berechnungsgrundlage dar.
Aus diesen Anforderungen entsteht später die Prüfliste. OpenAI empfiehlt bei der Arbeit mit Agenten, Ergebnisse am ursprünglichen Auftrag zu messen, wichtige Aussagen auf Belege zu prüfen und ausgeführte Aktionen tatsächlich zu kontrollieren. Die Tiefe der Prüfung sollte zu den möglichen Folgen passen.
Fakten und Quellen Satz für Satz kontrollieren
Beginnen Sie mit den Aussagen, die Entscheidungen beeinflussen: Termine, Kosten, Leistungsmerkmale, Zuständigkeiten und Empfehlungen. Öffnen Sie die jeweils angegebene Quelle und prüfen Sie die konkrete Fundstelle.
Dabei helfen vier Fragen:
- Steht die Aussage tatsächlich in der Quelle?
- Gilt sie für den beschriebenen Zeitraum, die Version und den Anwendungsfall?
- Wurden Einschränkungen oder Bedingungen übernommen?
- Ist die Quelle für diese Aussage fachlich geeignet und ausreichend aktuell?
Eine Herstellerdokumentation kann eine unterstützte Funktion belegen. Für die Behauptung, diese Funktion spare Ihrer Organisation Arbeitszeit, brauchen Sie zusätzliche Nachweise aus dem eigenen Einsatz.
Achten Sie außerdem auf Veröffentlichungsdatum, Aktualisierungsstand und den Zeitraum, auf den sich eine Angabe bezieht. Bei widersprüchlichen Unterlagen sollte erkennbar bleiben, welche Fassung verwendet wurde und warum.
Ein passender Prüfauftrag:
Prüfe die entscheidungsrelevanten Tatsachenbehauptungen dieses Berichts anhand der bereitgestellten Quellen. Nenne jeweils die Aussage, die Fundstelle und den Prüfstatus: belegt, teilweise belegt, widersprüchlich oder unbelegt. Weise darauf hin, wenn eine Quelle nicht zugänglich ist.
Die anschließende Kontrolle der entscheidenden Fundstellen bleibt Teil Ihrer fachlichen Prüfung. Auch ein automatisch erzeugter Prüfvermerk kann Fehler enthalten.
Unbelegte Aussagen sichtbar machen
Formulierungen wie „deutlich effizienter“, „vollständig abgeschlossen“ oder „problemlos einsetzbar“ verdienen besondere Aufmerksamkeit. Fragen Sie nach dem Maßstab und dem Nachweis.
Trennen Sie im Bericht drei Ebenen: belegte Tatsachen, daraus abgeleitete Einschätzungen und offene Fragen. Eine Empfehlung darf auf einer Einschätzung beruhen. Ihre Voraussetzungen sollten jedoch nachvollziehbar sein.
Fehlt ein Beleg, gibt es mehrere Möglichkeiten: die Aussage entfernen, vorsichtiger formulieren oder als noch zu prüfende Annahme kennzeichnen. Erfundenes Zahlenmaterial oder eine lediglich passend klingende Quellenangabe verschärfen das Problem.
Zahlen und Formeln unabhängig nachrechnen
Prüfen Sie zentrale Berechnungen mit einem Taschenrechner, einer Tabellenkalkulation oder einem nachvollziehbaren Rechenweg. Entscheidend sind Ausgangswerte, Einheiten, Bezugsgrößen und Rundung.
Bei einem Anstieg von 50.000 auf 60.000 Euro beträgt die Erhöhung 10.000 Euro beziehungsweise 20 Prozent des Ausgangswerts. Eine andere Bezugsgröße verändert das Ergebnis.
Achten Sie bei Tabellen besonders auf:
- fehlende Werte, die versehentlich als null behandelt werden,
- doppelte Datensätze und ausgeblendete Zeilen,
- unvollständige Summenbereiche,
- unterschiedliche Zeiträume oder Währungen,
- vermischte Netto- und Bruttobeträge,
- Formeln, die beim Kopieren falsche Zellbezüge erhalten.
Prüfen Sie außerdem die Übereinstimmung zwischen Berechnung, Diagramm und Fließtext. Eine korrigierte Tabelle muss sich auch in der Zusammenfassung wiederfinden.
Vollständigkeit am Auftrag messen
Ein Bericht kann fachlich richtige Aussagen enthalten und trotzdem wesentliche Aufgaben auslassen. Vergleichen Sie das Ergebnis deshalb mit dem ursprünglichen Auftrag.
Sind alle geforderten Themen behandelt? Wurden sämtliche vorgesehenen Dokumente berücksichtigt? Sind Risiken, Annahmen und offene Entscheidungen enthalten? Ist die Empfehlung aus den dargestellten Ergebnissen ableitbar?
Bitten Sie bei Bedarf um einen Abgleich:
Vergleiche den Bericht mit dem ursprünglichen Auftrag. Liste erfüllte, teilweise erfüllte und fehlende Anforderungen auf. Unterscheide zwischen fehlenden Informationen in den Quellen und Inhalten, die bei der Erstellung ausgelassen wurden.
Diese Unterscheidung zeigt, ob zusätzliche Unterlagen benötigt werden oder eine Überarbeitung genügt.
Layout und Dateifunktion praktisch testen
Öffnen Sie die erzeugte Datei in der Anwendung, in der sie später verwendet wird. Kontrollieren Sie bei einem Dokument Seitenumbrüche, Überschriften, Inhaltsverzeichnis, Links, Bildunterschriften und abgeschnittene Inhalte. Prüfen Sie bei Präsentationen zusätzlich die Lesbarkeit in der Bildschirmpräsentation.
Bei Tabellen gehören Formelberechnung, Filter, Zahlenformate und Diagrammbezüge zur Funktionsprüfung. Ändern Sie einen geeigneten Eingabewert in einer Testkopie und beobachten Sie, ob abhängige Ergebnisse korrekt reagieren.
Auch exportierte Fassungen brauchen einen Blick: Ein bearbeitbares Dokument und die daraus erzeugte PDF können unterschiedliche Layoutprobleme zeigen.
Die offizielle Dateidokumentation empfiehlt, erzeugte Dateien im geeigneten Betrachter zu öffnen und Änderungswünsche mit konkreten Seiten, Folien, Blättern oder Textstellen zu verbinden. Fragen Sie außerdem nach den tatsächlich durchgeführten Prüfungen.
Unklare Aufträge gezielt nachschärfen
Allgemeine Rückmeldungen wie „Bitte besser machen“ lassen offen, was sich ändern soll. Benennen Sie stattdessen Fundstelle, Problem und gewünschtes Ergebnis.
Zum Beispiel:
Im Abschnitt „Kosten“ werden einmalige und laufende Ausgaben vermischt. Trenne die beiden Kategorien, ergänze den jeweiligen Bezugszeitraum und kennzeichne fehlende Beträge. Aktualisiere anschließend alle davon abhängigen Aussagen in der Zusammenfassung.
Bei größeren Lücken hilft eine Eingrenzung: Welche Frage soll zuerst beantwortet werden? Welche Quellen sind maßgeblich? Welcher Zeitraum gilt? So lässt sich die Ursache eines Fehlers gezielter bearbeiten.
Praxis: Einen fehlerhaften Projektbericht überarbeiten
Das folgende Beispiel verwendet vollständig fiktive Angaben.
Für einen Bericht zur Einführung eines IT-Verfahrens liegen drei Informationen vor:
- Zwei von drei Pilotbereichen sind produktiv. Im dritten Bereich steht der Abnahmetest aus.
- Erfasst sind 12.000 Euro Lizenzkosten und 8.000 Euro Migrationskosten. Schulungskosten fehlen.
- Eine Messung der Bearbeitungszeiten wurde bisher nicht durchgeführt.
Der erzeugte Entwurf behauptet:
Die Einführung ist vollständig abgeschlossen. Der Umsetzungsgrad beträgt 80 Prozent. Die Gesamtkosten liegen bei 20.000 Euro. Die Bearbeitungszeit wurde um 30 Prozent reduziert. Der flächendeckende Einsatz kann freigegeben werden.
Prüfen Sie den Entwurf anhand konkreter Kriterien: Status korrekt wiedergegeben, Kennzahlen nachgerechnet, Kostenvollständigkeit kenntlich gemacht, Wirkungsaussagen belegt und Empfehlung nachvollziehbar begründet.
Dabei fallen fünf Probleme auf. Die Einführung ist noch offen. Zwei von drei Bereichen entsprechen rund 66,7 Prozent der Pilotbereiche. Diese Quote beschreibt den Anteil produktiver Bereiche, keine nach Aufwand gewichtete Projektfertigstellung. Die 20.000 Euro sind eine Zwischensumme. Für die behauptete Zeitersparnis fehlt ein Nachweis. Die Freigabeempfehlung ist durch die vorliegenden Angaben nicht ausreichend begründet.
Ein gezielter Überarbeitungsauftrag lautet:
Überarbeite den Bericht ausschließlich auf Grundlage der drei Ausgangsinformationen. Korrigiere Status und Quote. Bezeichne die 20.000 Euro als Summe der bisher erfassten Kosten und kennzeichne die fehlenden Schulungskosten. Entferne die unbelegte Zeitersparnis. Ersetze die Freigabeempfehlung durch eine Darstellung der noch offenen Prüfpunkte. Gleiche anschließend Zusammenfassung und Fazit ab.
Eine passende überarbeitete Fassung:
Zwei von drei Pilotbereichen sind produktiv. Das entspricht rund 66,7 Prozent der Pilotbereiche. Im dritten Bereich steht der Abnahmetest aus. Die bisher erfassten Lizenz- und Migrationskosten betragen zusammen 20.000 Euro. Eine vollständige Kostenübersicht liegt wegen fehlender Schulungskosten noch nicht vor. Aussagen zur Veränderung der Bearbeitungszeit sind mangels Messung derzeit nicht möglich. Vor einer Entscheidung über den flächendeckenden Einsatz sind der Abnahmetest, die vollständigen Kosten und die maßgeblichen Freigabekriterien zu prüfen.
Mit dem korrigierten Stand weiterarbeiten
Bewahren Sie Ausgangsmaterial und bearbeitete Fassung nachvollziehbar auf. Ein Dateiname wie „Projektbericht_Pilot_v02_geprueft.docx“ erleichtert die Zuordnung. Ergänzen Sie einen kurzen Änderungsvermerk und dokumentieren Sie verbleibende Prüfpunkte mit Zuständigkeit.
Kontrollieren Sie nach der Überarbeitung erneut die betroffenen Aussagen, Berechnungen und Verweise. Bereits veröffentlichte oder in anderen Anwendungen gespeicherte Fassungen müssen gegebenenfalls separat aktualisiert werden.
Übernehmen Sie wiederkehrende Fehler in Ihre nächste Aufgabenbeschreibung. Wenn beispielsweise Kostenarten oder Quellenstände regelmäßig unklar bleiben, machen Sie deren Kennzeichnung künftig zum festen Qualitätskriterium.