Denes Csaszar · Berlin · Arbeitsnachweis
Wie sich das Ergebnis verändert hat.
Der Arbeitsnachweis nennt eine Zahl, und die Studie nennt, wie sie berechnet wurde. Zwischen beiden steht eine Frage, die keines von beiden beantwortet: Kam die Zahl beim ersten Mal so heraus? Nein. Unten folgt der Weg, in sieben Stationen.
Vier Arten von Aussagen sind markiert, wo es auf sie ankommt, denn sie sind nicht dasselbe, und diese Seite handelt davon, was geschieht, wenn man sie verwechselt. Eine als beobachtet markierte Aussage lässt sich aus einer benannten Datei ablesen. Eine als Deutung markierte ist meine und kann falsch sein. Eine als Korrektur markierte hält fest, was sich geändert hat. Eine als ungeklärt markierte ist eine Frage, die diese Daten nicht beantworten können. Markiert wird, wo die Art der Aussage Gewicht hat, nicht jeder Satz, denn wer alles markiert, markiert nichts. Unmarkierte Zahlen weiter unten stehen mit ihrer Quelle auf der Studienseite. Korrigiert am 3. September 2026.
1 · Was ich messen wollte
Ob KI-Systeme im Lauf der Wochen ändern, was sie über einen Gegenstand sagen. Die Ahnung dahinter war geschäftlich begründet, nicht akademisch, aus dem Grund, den der Arbeitsnachweis gleich zu Beginn nennt. Die ersten zehn Fragen wurden am 4. Juli 2026 registriert, vor der ersten Erfassung. In den fünf Tagen danach wuchs der Fragensatz auf achtzehn, und alle achtzehn wurden am 9. Juli registriert.
2 · Was ich zuerst gebaut habe
Zuerst zwölf Fragen an sechs KI-Systeme, bis August achtzehn an acht, erfasst in Wellen, jede Welle mit der nächsten verglichen. Der Unterschied zwischen zwei Wellen sollte die Messung sein, und das Wort dafür war Drift.
Die Annahme in diesem Design wurde nie aufgeschrieben, und deshalb hielt sie sich so lange. Sie unterstellte, dass sich zwei Antworten auf dieselbe Frage im Abstand von Wochen unterscheiden, weil Wochen vergangen sind. Nichts im ersten Design maß, wie sehr sich zwei Antworten unterscheiden, wenn überhaupt keine Zeit vergangen ist.
3 · Was die Durchführung ergab
Sieben Wellen, deren erste Erfassungen zwischen dem 4. Juli und dem 25. August 2026 liegen, ergeben 111 Zellen (Frage × KI-System). Median der Ähnlichkeit zwischen den Wellen: 0,183.
Am ersten Design gemessen, sah das nach viel Drift aus. Es war zugleich das Ergebnis, für dessen Deutung das erste Design nicht ausgelegt war.
Ein Prüfwerkzeug lief am 29. August 2026, Build 2136073e, über das Archiv, und vier von elf Prüfungen schlugen fehl. Einer dieser Fehlschläge betraf coverage (Abdeckung): mehr Durchlaufindizes, als das eingefrorene Design zulässt. Dieser Build ist nicht derjenige, der heute im Archiv steht, und seine Zählungen wurden seither nicht reproduziert.
Das Instrument hatte also festgehalten, dass es seinem eigenen Protokoll nicht folgte, und um genau diesen Fehlschlag kreist diese Seite.
4 · Wo die Probleme lagen
Fünf, und nur das letzte ist ein Programmfehler. Die ersten vier sind Fehler im Design, die eine Zahl hervorgebracht hätten, die man hätte veröffentlichen können.
Der Vergleich hatte keine Baseline. Ohne eine Messung dessen, wie die Antworten auf dieselbe Frage ausfallen, wenn man sie einfach noch einmal stellt, ist ein Unterschied zwischen Wellen Nichtdeterminismus, versehen mit einem Datum. Nichts trennte Veränderung von bloßem Nichtdeterminismus.
Die Analyse wurde geschrieben, als sechs der sieben Wellen erfasst waren. Die Fragen wurden zwischen dem 4. Juli und dem 9. Juli registriert; die Analyse, die darüber lief, wurde am 22. August geschrieben. Veröffentlicht war noch nichts, also wurde nichts fälschlich behauptet, aber ein festgelegter Fragensatz mit nicht festgelegter Analyse lässt jede Wahl offen, auf die es ankommt.
Ein Drittel der Wiederholbarkeitsniveaus (englisch noise floor) beruht auf einem einzigen Wiederholungspaar. Von den 103 Zellen mit messbarem Niveau haben 38 ein Niveau, das der Median genau eines Wiederholungspaars ist, und 60 beziehen ihr Niveau aus einer einzigen Welle.
Das Kriterium hängt davon ab, wie hoch die Baseline liegt. Eine Zelle mit hohem Niveau hat mehr Raum, darunter zu fallen. Sortiert man die Zellen nach ihrem eigenen Niveau und teilt sie nach Rang in vier Gruppen, so liegt der Anteil der abgewichenen Zellen bei 57,7; 84,6; 92,0 und 96,2 Prozent. Das Hauptergebnis ist ein Durchschnitt über vier Populationen, die sich verschieden verhalten.
Und ein Feld wurde als etwas gelesen, das es nicht festhält. cleanroom_logged_out ist genau dann wahr, wenn der Erfassungsmodus ein Inkognito-Fenster ist. Es sagt nichts darüber, ob dabei ein Konto angemeldet war. Ich hatte den Anmeldestatus aus dem Erfassungsmodus erschlossen, mit der Überlegung, dass eine Oberfläche mit temporärem Chat auf ein Konto schließen lässt. Am 31. August an der echten Oberfläche geprüft: chatgpt.com/temporary ist auch im abgemeldeten Zustand erreichbar. Der Schluss war schlicht falsch.
5 · Was sich geändert hat – und womit es begründet ist
Die Baseline wurde zur Messung. Jede Zelle trägt jetzt ihr eigenes Wiederholbarkeitsniveau, den Median der Ähnlichkeit zwischen zwei Durchläufen derselben Frage, und eine Zelle gilt nur dann als abgewichen, wenn die Ähnlichkeit zwischen den Wellen strikt unter dem eigenen Niveau dieser Zelle liegt. Die Drift-Zahl war nicht länger die Messung, sondern die eine Hälfte eines Vergleichs.
Die Zellen mit zu vielen Durchläufen wurden geprüft statt entfernt. Zwölf von 103 Zellen hatten mehr Durchläufe, als das eingefrorene Design zuließ.
Nimmt man diese zwölf heraus, steigt der Anteil abgewichener Zellen von 82,5 auf 85,7 Prozent.
Die Protokollabweichung hatte also gegen die Aussage gewirkt statt für sie. Dass es in diese Richtung ging, ist Glück, keine Methode: Die Prüfung wäre genauso nötig gewesen, wenn es andersherum gelaufen wäre, und sie wird hier so berichtet, wie sie tatsächlich ausfiel, damit das Glück sichtbar bleibt.
Der Anteil wird jetzt auch nach Rangvierteln des Niveaus berichtet, weil ein einziger Durchschnitt über die vier Populationen oben genau das verdeckt, was das Kriterium tragfähig macht. Korrigiert am 17. September 2026.
Die Aussage zum Anmeldestatus wurde durch das ersetzt, was das Archiv enthält. Nicht abgeschwächt, ersetzt. Die Seiten sagen jetzt, dass der Erfassungsmodus je KI-System festgelegt und in jeder Welle unverändert war, also kontrolliert, und dass der Anmeldestatus nicht aufgezeichnet wurde und sich aus dem Modus nicht erschließen lässt. Ein Schluss ist keine Aufzeichnung.
Es gibt jetzt einen Analyseplan, geschrieben, bevor die Daten vorliegen. Er ist der erste in dieser Forschungspraxis, und es gibt ihn wegen der Lücke, die Station 4 benennt.
6 · Was standgehalten hat
Von den Zellen mit Niveau sind 85 von 103 unter ihr eigenes Niveau gefallen; dem stehen 40,9 Prozent gegenüber, die nach einer Permutationsverteilung mit vertauschten Etiketten rein zufällig zu erwarten wären, 5.000 Permutationen, Startwert 0 (englisch seed). Der Median der Differenz ist −0,065, mit einem 95-%-Intervall von −0,092 bis −0,030, per Bootstrap über die 18 Fragen-Cluster berechnet.
Was nicht standgehalten hat, ist die Punktschätzung als Hauptergebnis.
Bei den 43 Zellen, deren Niveau in beiden Wellen statt nur in einer gemessen ist, liegt der Anteil bei 33 von 43. Das sind 76,7 Prozent gegenüber 82,5 über alle 103.
Warum sich die beiden unterscheiden, ist hier nicht geklärt. Es könnte eine Eigenschaft gerade der Zellen sein, die zufällig in zwei Wellen gemessen sind, oder der Messung, oder beides, und diese Daten können das nicht trennen. Das zu klären ist Aufgabe einer eigenen Analyse, nicht dieser Seite.
Was allein aus der Beobachtung folgt, ist enger und reicht trotzdem: 85 von 103 ist das Hauptergebnis, und 33 von 43 ist dieselbe Zählung für dessen besser gemessene Teilmenge. Die zweite Zählung gilt für eine Teilmenge mit eigener Unsicherheit und ist nicht das pessimistische Ende einer Spanne, und wer nur das Hauptergebnis kennt, würde es abwerten, sobald er später auf die Teilmenge stößt.
Ebenfalls weg: jede Aussage über den Kontostatus. Das brauchte zwei Anläufe, nicht einen. Der erste ersetzte den Schluss auf den Anmeldestatus oben; die Seiten nannten den Kontostatus noch bis zum 3. September „konstant gehalten und nicht bekannt“, und das sagt zwei unvereinbare Dinge: „Konstant gehalten“ macht ihn zu einer Kontrollvariable, „nicht bekannt“ zu einer Störvariable. Jetzt steht er da als das, was er ist: weder kontrolliert noch beobachtet. Er wirkt auf die Ähnlichkeit zwischen den Wellen, und dort kann er die Messung, wenn überhaupt, nur nach oben treiben, nicht nach unten.
7 · Was die nächste Studie erbt
Sechs Regeln. Zwei davon wurden mit Fehlern bezahlt, die Station 4 benennt: die zweite mit der Registrierungslücke, die fünfte mit dem Feld, das als das gelesen wurde, was es nahelegt. Die anderen vier stammen aus anderen Teilen dieser Forschungspraxis, und nichts auf dieser Seite belegt sie. Korrigiert am 3. September 2026.
- Baseline und Effekt müssen dieselbe Zeitspanne umfassen. Ein Niveau, das über dreißig Sekunden gemessen ist, lässt sich nicht von einem Effekt abziehen, der über eine Stunde gemessen ist.
- Die Analyse wird registriert, bevor die Daten existieren, nicht erst, wenn das Schreiben beginnt.
- Jedes Kriterium nennt sein eigenes Zufallsniveau. Eine Schwelle, die ohne ein solches gesetzt ist, kann so niedrig liegen, dass schon der Zufall sie überschreitet, und misst dann nichts als ihre eigene Arithmetik.
- Ein Kontrollfall, dessen Ergebnis vorab bekannt ist, durchläuft exakt denselben Codepfad. Ein Kontrollfall mit Sonderbehandlung beweist nur, dass die Sonderbehandlung funktioniert.
- Ein Feld wird als das gelesen, was es festhält, nie als das, was es nahelegt.
- Eine Prüfung, die nicht fehlschlagen kann, ist keine Prüfung. Ein Filter, auf den nichts passt, sieht genauso aus wie einer, der nichts Falsches gefunden hat.
Die Studie, für die diese Regeln geschrieben wurden, hat eine Registrierung, ihre Daten sind nicht erfasst. Die Registrierung ist selbst noch ein Entwurf und noch nicht freigegeben, und sie ruht derzeit wegen Befunden aus ihrer eigenen Begutachtung; genau dafür sind die Regeln da. Korrigiert am 17. September 2026. Die Methodenseite mit dem Format der Präregistrierung und die Studie, aus der diese Zahlen stammen, enthalten beide die Einzelheiten, die diese Seite zusammenfasst, und die Seite „Was sich hier geändert hat“ verzeichnet jede Änderung an einer genannten Zahl oder Aussage, seit dieser Nachweis begann. Das Änderungsprotokoll wird auf Englisch geführt.
Zuletzt überarbeitet am 31. Oktober 2026.