Die Fragen standen fest, bevor die KI-Systeme geöffnet wurden. Die Analyse nicht.

1 · Was gemessen wird

Gegenstand ist, was KI-Systeme über ein namentlich genanntes Unternehmen sagen, wenn man sie danach fragt, und welche Quellen sie angeben. Als Rohmaterial festgehalten werden der Antworttext, die Quellen, ein Screenshot und die Bedingungen, unter denen die Antwort entstand. Die Erfassung selbst geschieht nicht von Hand: Eine Chrome-Erweiterung, die ich geschrieben habe, führt sie aus und schreibt die Zeilen, während ein Mensch die Sitzung leitet und dabei, wie weiter unten beschrieben, nicht bewertet. Wo genau, Schritt für Schritt, die Grenze zwischen Erweiterung und Mensch verläuft, steht in keiner veröffentlichten Datei; hier müssen Sie sich also auf die Aussage dieser Seite verlassen, einen Beleg gibt es nicht. Bewertet wird danach, der Erfassung nachgelagert, anhand eines schriftlichen Bewertungsrasters. Wer die Erfassung durchführt, bewertet nicht während der Erfassung, denn ein Urteil, das vor dem Ende des Laufs gebildet wird, könnte beeinflussen, wie die übrigen Fragen erfasst werden.

Beobachtungen und Urteile stehen durchgehend in getrennten Spalten. Eine Antwort, die überhaupt keinen Anbieter nennt, wird als Nichtnennung vermerkt, nicht als fehlgeschlagene Erfassung. Der Unterschied ist wesentlich: Niemand hat einen Wettbewerb verloren, der nie stattgefunden hat.

2 · Die sieben Dimensionen

Entitätserkennung. Richtigkeit der Beschreibung. Wettbewerbsvergleich. Empfehlungsverhalten. Dokumentationsqualität. Strukturierte Daten. Quellenangaben.

Sechs der sieben sind Hebel: Jede ist mit einer konkreten Korrektur verbunden, und das Audit gibt diese Korrektur als Arbeitsauftrag an die zuständige Stelle aus. Die siebte, das Empfehlungsverhalten, ist eine Ergebnisgröße. Sie wird verfolgt und nie als etwas verkauft, das sich direkt beheben ließe, denn sie ist das, was die anderen sechs bewegen sollen. Für die strukturierten Daten ist das eine Annahme, kein Befund: Ob die KI-Systeme, die diese Website misst, Markup überhaupt lesen, wurde hier nicht getestet.

Der zusammengefasste Gesamtwert über alle sieben wurde am 3. Juli 2026 von einer unabhängigen Methodenprüfung verworfen: Er mittelte die Ergebnisgröße mit ihren eigenen Ursachen und zählte so denselben Wirkungspfad doppelt. Das ist schon von der Konstruktion her ungültig, nicht bloß schlecht gewichtet, und keine Neugewichtung hätte es behoben. Stattdessen gibt es das Profil je KI-System über die Dimensionen, dazu einen Mittelwert nur über die Hebel, und die Ergebnisgröße wird getrennt berichtet.

3 · Das Ablaufprotokoll

Die Fragen werden wörtlich und ohne Priming gestellt. Dem KI-System wird nie gesagt, wer fragt, wo diese Person ist oder was sie sucht, denn Priming würde genau die Verzerrung erzeugen, die die Messung aufdecken soll. Wo der Ort eine Rolle spielt, steht er in der Frage selbst. Jede Frage läuft in einem neuen Chat, sodass nichts aus der vorherigen Frage übernommen wird. Bewertet wird die erste Antwort; danach folgt eine feste Nachfrage nach den verwendeten Quellen, damit die Quellen jedes Mal auf dieselbe Weise gesammelt werden.

Der Datensatz enthält je Antwort die Felder für die Bedingungen, unter denen sie entstand: das Datum; die Modellversion laut Angabe des KI-Systems; ob eine Platzierung gesponsert statt organisch war; und was das KI-System stattdessen tat, wenn es nichts empfahl. Diese Felder sind nicht in jeder Zeile befüllt, und ein vorhandenes Feld ist noch keine durchgeführte Messung. Gesponserte Platzierungen werden nie in die organischen Zahlen eingerechnet; sie sind ein eigener Strang und werden getrennt berichtet.

Jede Bewertung gilt als eine datierte Beobachtung, nicht als Eigenschaft des KI-Systems; deshalb werden dieselben Fragen in Wellen wiederholt, und deshalb wird das Wiederholbarkeitsniveau (englisch noise floor: wie ähnlich sich zwei Antworten innerhalb einer Welle sind) gemessen, bevor eine Veränderung im Zeitverlauf behauptet wird.

4 · Die Registrierung – und die Hälfte, die fehlte

Die Methode beginnt mit einem Registrierungsschritt. Bevor irgendein KI-System geöffnet wird, werden der Fragensatz, die KI-Systeme, die Bedingungen, die Version des Bewertungsrasters und die Vorhersagen schriftlich festgehalten und datiert, zusammen mit der Verpflichtung, über jede Frage zu berichten, auch über die, bei denen die Vorhersage danebenlag. Jede spätere Änderung wird als datierter Nachtrag angefügt, nie als Bearbeitung.

Gezählt im Arbeits-Repository am 31. August 2026, nach der Regel, dass eine Datei eine Registrierung ist, wenn sie eine bestimmte Studie vor deren Erfassung registriert: Elf solcher Dateien gibt es, die früheste datiert auf den 30. Juni 2026, die beiden jüngsten auf den 30. August 2026. Genau eine trägt eine Statuszeile mit „registered“. Eine sagt ausdrücklich, dass sie noch nicht registriert ist, und trägt nirgends ein Datum. Die übrigen sind als Entwurf oder Vorschlag formuliert oder haben gar keine Statuszeile, auch die für die Studie, die gerade vorbereitet wird.

Die größere Lücke lag in der Struktur, nicht in der Buchführung. Eine Registrierung friert die Fragen ein; sie friert nicht ein, was aus den Antworten berechnet wird. Die Fragen des Selbstaudits wurden schrittweise registriert, jeder Fragensatz in einem Laufprotokoll, das vor der ersten Erfassung dieses Laufs angelegt wurde: zehn am 4. Juli 2026, vierzehn am 5. Juli, alle achtzehn am 9. Juli. Zwei am 4. Juli gestellte Fragen, die beiden zur Abgrenzung vom gleichnamigen Unternehmen, stehen in der Registrierungsdatei dieses Tages, aber nicht im Protokoll des Laufs. Die Analyse, die später über diese Erfassungen lief, der Wiederholbarkeitstest, wurde am 22. August geschrieben, als sechs der sieben Wellen schon erfasst waren. Veröffentlicht war zu diesem Zeitpunkt nichts, und keine Aussage stützte sich darauf; ein festgelegter Fragensatz mit nicht festgelegter Analyse lässt trotzdem jede Wahl offen, auf die es ankommt: welches Maß, welcher Vergleich, welche Schwelle, welche Zellen wegfallen.

Der Registrierungsschritt besteht jetzt aus zwei Dokumenten statt einem: einer Präregistrierung, die die Fragen und die Vorhersagen festlegt, und einem Analyseplan, der das Maß, den Vergleich, das Kriterium, die Nullhypothese und die Ausschlüsse festlegt sowie angibt, welche Tabellen überhaupt keine inferenzstatistische Aussage tragen. Das erste Paar dieser Art entstand am 30. August 2026. Zwei der elf sind selbst auf den 30. August datiert; vor diesem Datum hatte diese Forschungspraxis also neun Registrierungen und überhaupt keinen Analyseplan.

5 · Was eine fehlgeschlagene Prüfung kostet

Ein Prüfwerkzeug lief am 29. August 2026 über das Archiv, und vier von elf Prüfungen schlugen fehl. Die Zählungen unten stammen aus diesem Auslesen und wurden seither nicht reproduziert. Für jede fehlgeschlagene Prüfung steht hier, was nötig wäre, damit dieser Fehlschlag den Rückzug einer veröffentlichten Zahl erzwingt.

Drei der vier betreffen die Ebene der Belege, nicht die Messung. ambiguous picture references (mehrdeutige Bildverweise), mit 1.257 Fällen, und duplicate frames (doppelt gespeicherte Bilder), mit 8 Fällen, bedeuten, dass sich ein Screenshot nicht immer genau einer Beobachtung zuordnen lässt. Keine hier veröffentlichte Zahl ist aus einem Screenshot berechnet; keiner der beiden Fehlschläge berührt also heute eine Zahl. Sie würden jede Aussage zu Fall bringen, die auf einem Bild beruht, und diese Regel steht jetzt hier, damit später niemand eine solche Aussage machen kann, als wären die Prüfungen bestanden.

cross-run references (laufübergreifende Verweise) liegt mit 26 Fällen auf derselben Ebene, ist aber heikler. Ein Bild, das in einem Lauf aufgezeichnet und von einem anderen referenziert wird, ist unsauber. Dasselbe Muster in den Zeilen der Antworten wäre eine Verunreinigung zwischen den Wellen, und jede Zahl, die über die betroffenen Wellen berechnet ist, würde zurückgezogen, nicht an Ort und Stelle korrigiert.

coverage (Abdeckung) steht den Zahlen am nächsten. Das Archiv enthält mehr Durchlaufindizes, als das eingefrorene Design zulässt; das tatsächlich umgesetzte Design ist also nicht in jeder Hinsicht das registrierte.

Ob sie eine veröffentlichte Zahl berührt, wurde am 31. August 2026 geklärt, und die Antwort ist ja. Zwölf der 103 veröffentlichten Zellen verwendeten mehr Durchläufe, als die registrierte Zahl der Durchläufe ihrer Frage vorsah. Nimmt man alle zwölf heraus, sinkt das Hauptergebnis nicht, es steigt: Der Anteil der Zellen, die als abgewichen gelten, geht von 82,5 Prozent auf 85,7 Prozent, denn von diesen zwölf gelten nur 58,3 Prozent als abgewichen, deutlich weniger als beim Rest. Der Median der Differenz bewegt sich nicht: −0,065 mit den zwölf und −0,065 ohne sie. Die beiden unterscheiden sich um 0,0007. Das Intervall um diesen Median ist 0,062 breit, etwa neunzigmal so breit wie diese Differenz; eine so kleine Verschiebung lässt sich mit diesen Daten also nicht nachweisen. Korrigiert am 2. September 2026.

Die Protokollabweichung ist also real, und sie wirkte gegen die berichtete Zahl statt für sie. Diese Richtung ist Glück, keine Methode. Aus diesem Grund wird nichts zurückgezogen. Die zwölf lassen sich in der veröffentlichten CSV an ihren Spalten draws_early und draws_late erkennen, aber die registrierte Zahl der Durchläufe, gegen die jede gemessen wird, ist nicht veröffentlicht; die Aufteilung lässt sich aus den veröffentlichten Dateien allein also nicht wiederholen. Das ist eine Lücke in dem, was veröffentlicht ist, keine Einschränkung des Ergebnisses.

Diese Prüfung brachte ein größeres Problem zutage, das die Protokollabweichung bis dahin verdeckt hatte, und es liegt nicht auf der sicheren Seite. Es steht dort, wo es hingehört: in der Studie, Abschnitt 5.

6 · Was bewusst fehlt

Der zentrale Fragensatz ist nicht veröffentlicht, die Stufenbeschreibungen ebenso wenig. Ein öffentlicher Fragensatz misst nicht mehr das, wofür er gebaut wurde, denn man kann gezielt auf ihn hin schreiben, und ein Instrument, das sich durch Lesen austricksen lässt, ist kein Instrument mehr. Das Datum von drei der elf Registrierungen ist öffentlich und steht in Abschnitt 4: das der frühesten und das der beiden jüngsten. Die Datumsangaben der anderen acht sind nicht veröffentlicht, und eine dieser acht trägt gar kein Datum. Das Verfahren ist öffentlich, und die entstandenen Zeilen sind öffentlich. Die Wortlaute nicht.

Eine Studie ist die Ausnahme, mit Absicht. Die am 30. August 2026 geschriebene Paraphrasen-Studie, noch ein Entwurf, noch nicht freigegeben und derzeit wegen Befunden aus ihrer eigenen Begutachtung ruhend, veröffentlicht alle ihre Formulierungen in ihrer eigenen Registrierung, denn dort geht es gerade um die Frage, ob eine andere Formulierung die Antwort ändert, und diese Frage kann niemand prüfen, der die Formulierungen nicht sieht. Sie hat eigene Fragekennungen und einen eigenen Lauf und gehört nicht zur eingefrorenen Reihe.

Was dieses Verfahren ergeben hat, steht in der Studie, und die Seite „Was sich hier geändert hat“ hält datiert fest, was diese Seite vorher sagte. Das Änderungsprotokoll wird auf Englisch geführt.