ChatGPT Search und normale Chat-Antworten in einer Untersuchung trennen

Den untersuchten Antworttyp vorab benennen

Möchten Sie prüfen, ob eine öffentliche Fachseite als Suchquelle erscheint, oder ob die Marke in einer allgemeinen Antwort genannt wird? Schreiben Sie diesen Unterschied in den Untersuchungsauftrag. Ein Test zur Quellenauffindbarkeit benötigt andere Nachweise als eine reine Prüfung des Antworttextes.

Legen Sie außerdem fest, wie nicht eindeutig erkennbare Fälle behandelt werden. Die Kategorie „Suchnutzung unbekannt“ ist präziser als eine erzwungene Zuordnung. Aus Sprachstil, Antwortlänge oder einem aktuellen Jahresbezug lässt sich der tatsächliche Abrufweg nicht zuverlässig ableiten.

Nur beobachtbare Suchmerkmale verwenden

Die offizielle ChatGPT-Dokumentation beschreibt sichtbare Suchaktivität und Quellen bei verwendeter Websuche; verfügbare Funktionen können durch Konto- oder Workspace-Einstellungen begrenzt sein. Protokollieren Sie deshalb das tatsächlich vorliegende Erlebnis, statt eine universelle Oberfläche vorauszusetzen.

Sichern Sie den vollständigen Durchlauf. Ein einzelner herauskopierter Satz verliert die Information, ob zuvor Dateien, Gesprächskontext oder andere Inhalte bereitgestellt wurden. Ein Quellenverweis wird geöffnet und mit der konkreten Behauptung verglichen. Er ist ein Prüfangebot, keine automatische Bestätigung jeder Aussage.

Für die angrenzende Entscheidung hilft außerdem API-Antworten und Nutzeroberflächen sinnvoll vergleichen.

Drei Kategorien für die Auswertung festlegen

Diese vorgeschlagene Codierung trennt gesicherte Beobachtungen von unbekannten Systemdetails. Dokumentieren Sie zusätzlich, welche sichtbaren Merkmale in Ihrer konkreten Oberfläche als Suchnachweis gelten. Die Kategorien sind eine eigene Untersuchungsmethode und kein offizieller ChatGPT-Score.

API-Ergebnisse nicht mit der Oberfläche vermischen

Ein technisch erfasster web_search-Aufruf in einer API-Untersuchung kann einen eigenen dokumentierten Suchlauf belegen. Er ist aber kein automatischer Nachweis dafür, was ein Kunde in seiner ChatGPT-Oberfläche gesehen hat. Führen Sie deshalb getrennte Messreihen mit jeweils passenden Bedingungen.

Wenn die Aufgabe die öffentliche Nutzererfahrung betrifft, wird genau diese Erfahrung protokolliert. Wenn die API untersucht wird, gehören Konfiguration und Rückgabedaten dazu. Ein gemeinsamer Prozentwert ohne Kennzeichnung würde unterschiedliche Untersuchungsgegenstände vermischen.

Fiktiver Fall: Ein Namensfund wird falsch bewertet

Eine Redaktion stellt in einem bestehenden Chat eine markengebundene Frage. Die Antwort nennt das Unternehmen, zeigt aber keinen belegten Suchlauf. Im Gespräch war zuvor bereits die Unternehmensbeschreibung enthalten. Das Team darf diesen Fund deshalb nicht als erstmalige Entdeckung der Website in ChatGPT Search melden.

Für die eigentliche Quellenfrage legt es einen getrennten Durchlauf mit dokumentiertem Kontext an. Ob Suche verwendet wurde und welche URL erscheint, wird beobachtet statt vorgegeben. Der neue Datensatz kann anschließend nach denselben Regeln bewertet werden.

Änderungen am Inhalt angemessen beurteilen

Nach einer Website-Überarbeitung bleiben die ursprünglichen Fragefassungen und Klassifizierungsregeln erhalten. Vergleichen Sie nur ausreichend ähnliche Durchläufe. Eine neue Quellenanzeige kann ein hilfreicher Befund sein; eine konkrete Ursache muss dennoch gesondert belegt werden.

Im Bericht stehen beobachtete Suchläufe, offene Abrufwege, Markennennungen und Quellenbelege getrennt nebeneinander. Eine Antwort ohne Suchnachweis wird nicht verworfen, aber sie beantwortet eine andere Frage. Diese Trennung verhindert, dass scheinbar positive Namensfunde die tatsächliche Auffindbarkeit einer Fachseite überdecken.

Die zugehörige Grundlage erläutert der Leitfaden ChatGPT-Sichtbarkeit prüfen: Fragen, Quellen und Messbedingungen.

Häufige Fragen.