Colour scheme: systemMagyar

Denes Csaszar · Berlin · Studie

KI-Systeme formulierten ihre Antworten zwischen Erhebungswellen stärker um, als sie es tun, wenn man sie zweimal hintereinander fragt. Hier steht, wie viel davon ich vertreten kann.

Umfang 08284347, ausgelesen am 29. August 2026. Gelistet als Makefield-Studie MF-2026-001. Zurück zum Arbeitsnachweis.

1 · Zuerst der Umfang, dann der Befund

Achtzehn Fragen zu einem einzigen Unternehmen, gestellt an acht KI-Systeme über ein einziges Browser-Messinstrument, in sieben Erhebungswellen, deren erste Erfassungen zwischen dem 4. Juli und dem 25. August 2026 liegen. Drei der sieben liefen über mehrere Tage; die Datumsangaben unten sind jeweils die erste Erfassung, nicht die Dauer. Nur sechs der sieben tragen zu den Zellen bei: Die zweite, makefield-cycle0-20260705, hatte einen Durchlauf je Zelle, und ein einzelner Durchlauf ergibt kein Paar. Die Wellen sind nicht gleichmäßig verteilt; sie liegen an drei Zeitpunkten (Anfang Juli, Mitte August und Ende August), und das ist das Wichtigste, was man vor jeder Zahl unten wissen muss.

makefield-cycle0
2026-07-04
makefield-cycle0-20260705
2026-07-05
makefield-cycle0-v2
2026-07-05
makefield-cycle0-v3
2026-07-09
makefield-cycle1
2026-08-10
makefield-cycle1-20260811
2026-08-11
makefield-cycle2
2026-08-25

Eine Zelle ist die Kombination aus einer Frage und einem KI-System. Aus 2.952 Datensätzen, zu Zellen zusammengefasst, ergaben sich 111 vergleichbare Zellen. Sechzig Durchläufe fielen weg, weil das KI-System überhaupt keine Antwort lieferte. Zwölf weitere Zellen wurden ausgeschlossen, weil sich der Fragetext selbst zwischen den verglichenen Wellen geändert hatte. Zwei der achtzehn Fragen bezogen sich auf die falsche Domain. Sie nannten ein gleichnamiges, unverbundenes Unternehmen; zu diesem Unternehmen wurden in der ersten Welle sechs KI-Systeme befragt, und ein erneuter ChatGPT-Lauf fragte am Morgen des 5. Juli noch einmal. Beide Fragen wurden noch am selben Tag berichtigt; Antworten über die Website eines anderen stehen also auf der einen Seite der Änderung, Antworten über meine auf der anderen. Eine Antwort auf eine andere Frage mit einer Antwort auf die ursprüngliche zu vergleichen, hätte genau den Effekt erzeugt, den diese Studie zu finden behauptet; deshalb sind diese zwölf ausgeschlossen und als Ausschluss gezählt, statt stillschweigend behalten zu werden. Das gleichnamige Unternehmen wird hier nicht genannt: Es ist ein echtes Unternehmen, das mit alledem nichts zu tun hatte und nichts davon hat, hier zu erscheinen.

Von den 111 haben 103 ein messbares Wiederholbarkeitsniveau (englisch noise floor: wie ähnlich sich zwei Antworten innerhalb einer Welle sind). Diese 103 sind der Nenner jedes Anteils auf dieser Seite. Die übrigen acht stehen mit ihrem Grund in der CSV.

2 · Das Niveau kommt zuerst

KI-Systeme antworten nicht deterministisch. Stellt man dieselbe Frage zweimal in derselben Sitzung, fällt die Antwort schon anders formuliert aus. Die meisten veröffentlichten Arbeiten in diesem Feld vergleichen eine Antwort von heute mit einer von vor einigen Wochen und nennen den Unterschied Drift. Dieser Vergleich kann ein KI-System, das sich verändert hat, nicht von einem unterscheiden, das nie stabil war.

Die erste Messung gilt deshalb dem Instrument, nicht den KI-Systemen. Innerhalb einer einzelnen Welle wird dieselbe Frage demselben KI-System mehr als einmal gestellt. Die Ähnlichkeit zwischen diesen Wiederholungen ist das eigene Wiederholbarkeitsniveau der Zelle: wie ähnlich sich zwei Antworten sind, wenn sich nichts geändert hat außer dem Zufall. Erst dann lohnt es sich, die Ähnlichkeit zwischen den Wellen auszuwerten, und nur gegen das eigene Niveau dieser Zelle, nie gegen eine Zahl, die von einer anderen Zelle oder einem anderen KI-System übernommen ist.

Ähnlichkeit ist hier der Jaccard-Koeffizient über Mengen von Inhaltstokens. Der Text wird kleingeschrieben, URLs werden zuerst entfernt, Wörter werden Unicode-gerecht erkannt, Apostrophe und Bindestriche am Anfang und Ende werden abgeschnitten, Tokens mit zwei oder weniger Zeichen und Stoppwörter werden verworfen, und was übrig bleibt, wird als Menge behandelt. Zwei Antworten, die dieselben Wörter in anderer Reihenfolge verwenden, gelten als identisch; zwei Antworten, die dieselben drei Anbieter in anderer Prosa nennen, gelten als verschieden. Das ist eine echte Schwäche, und sie ist Gegenstand von Abschnitt 5.

Eine Vergleichsregel verdient eigene Erwähnung, weil sie eine Stelle betrifft, an der sich ein Ergebnis unbemerkt aufbläht. Sind beide Seiten eines Vergleichs leer, liefert das Paar nichts, nicht 1. Zwei Antworten, die keine Quellen genannt haben, sind kein Beleg dafür, dass das KI-System zweimal dieselben Quellen genannt hat. Das Paar wird verworfen, und das Verwerfen wird gezählt.

Über die 103 Zellen hat das Niveau einen Median von 0,266, Quartile bei 0,200 und 0,321, ein Minimum von 0,036 und ein Maximum von 0,600. Auf die Streuung kommt es an. Bei einer Zelle mit einem Niveau von 0,036 wiederholt sich das KI-System im Abstand von Minuten kaum, und nichts, was über Wochen an dieser Zelle gemessen wird, kann viel bedeuten.

Das Instrument, das diese Antworten erfasst hat, und das Protokoll, nach dem es lief, beschreibt die Seite „Die Methode“.

3 · Das Ergebnis

Die Ähnlichkeit zwischen den Wellen hat einen Median von 0,183, gegenüber einem Niveau mit einem Median von 0,266. Zelle für Zelle ist der Median der Differenz −0,065, mit einem 95-%-Konfidenzintervall von −0,092 bis −0,030, per Bootstrap über 18 Fragen-Cluster berechnet, 2.000 Bootstrap-Stichproben, Startwert 0 (englisch seed). Auf die Clusterung kommt es an: Zellen, die eine Frage teilen, sind keine unabhängigen Beobachtungen, und ein Intervall, das so berechnet wäre, als wären sie es, fiele schmaler aus, als die Daten hergeben.

Zellen gezählt statt gemittelt: 85 von 103 Zellen, 82,5 Prozent, sind sich über die Wellen hinweg weniger ähnlich als innerhalb einer Welle. Unter einer Permutationsverteilung, die die Wellenzugehörigkeit innerhalb jeder Zelle zufällig auf die Durchläufe verteilt und die Gruppengrößen beibehält, wären rein zufällig 40,9 Prozent zu erwarten, über 5.000 Permutationen, Startwert 0. Keine Permutation erreichte 85. Die Zusammenfassungsdatei hält selbst fest, was die Ablehnung der Nullhypothese nicht zeigen kann: „In this archive a wave IS a sitting, so a rejection cannot separate drift over elapsed time from answers taken in one sitting resembling each other.“ (Sinngemäß: In diesem Archiv ist eine Welle eine Sitzung; eine Ablehnung der Nullhypothese kann deshalb Drift über die verstrichene Zeit nicht davon trennen, dass sich Antworten aus derselben Sitzung ähneln.) Das Niveau wird innerhalb einer Sitzung gemessen und der Effekt über Sitzungen hinweg, die Wochen auseinanderliegen; alles, was den Antworten innerhalb einer Sitzung gemeinsam ist, steckt also auch in dieser Zahl.

Die Zusammenfassungsdatei meldet p = 0.0002 und hält in ihrer eigenen Anmerkung fest, dass dies die Untergrenze des Tests ist, eins geteilt durch die um eins erhöhte Zahl der Permutationen, keine gemessene Größe. Eine kleinere Zahl ließe sich durch mehr Permutationen erreichen, und sie bedeutete nicht mehr als diese.

Jede Zelle gegen ihr eigenes Wiederholbarkeitsniveau. Eine Linie je Zelle, 103 Linien, sortiert nach dem eigenen Niveau der Zelle. Jede Linie reicht vom Niveau bis zur Ähnlichkeit zwischen den Wellen. 85 laufen nach links, 18 nach rechts. Das Niveau ist keine einheitliche Schwelle: Es reicht von 0,036 bis 0,600, eine größere Spanne als die meisten Unterschiede, über die es urteilt.

Die Linien, die nach rechts laufen, sind nicht verstreut. Sie liegen unten in der Abbildung, wo das Niveau niedrig ist, und das ist eine Eigenschaft des Tests, nicht der KI-Systeme: Unter ein niedriges Niveau zu fallen ist schwerer als unter ein hohes. Sortiert man die Zellen nach ihrem eigenen Niveau und teilt sie nach Rang in vier Gruppen, so liegt der Anteil, der nach links lief, bei 57,7; 84,6; 92,0 und 96,2 Prozent. Die Rangviertel sind nach Rang gebildet, nicht nach Wert; die Regel und der Fallstrick stehen in der README-Datei des Datensatzes.

nach links, unter das eigene Niveau · nicht darunter · Strich = das Niveau selbst

0,00,20,40,6claude B1: Niveau 0,600, zwischen den Wellen 0,455, Differenz −0,145claude X2: Niveau 0,559, zwischen den Wellen 0,254, Differenz −0,306copilot C2: Niveau 0,507, zwischen den Wellen 0,229, Differenz −0,278chatgpt B1: Niveau 0,441, zwischen den Wellen 0,117, Differenz −0,324googleai A2: Niveau 0,432, zwischen den Wellen 0,024, Differenz −0,408claude A2: Niveau 0,428, zwischen den Wellen 0,395, Differenz −0,033claude C2: Niveau 0,411, zwischen den Wellen 0,193, Differenz −0,218copilot D1: Niveau 0,410, zwischen den Wellen 0,098, Differenz −0,313claude D1: Niveau 0,403, zwischen den Wellen 0,233, Differenz −0,169copilot X1: Niveau 0,403, zwischen den Wellen 0,400, Differenz −0,003gemini C2: Niveau 0,388, zwischen den Wellen 0,223, Differenz −0,165gemini X4: Niveau 0,384, zwischen den Wellen 0,204, Differenz −0,180chatgpt D2: Niveau 0,381, zwischen den Wellen 0,154, Differenz −0,227copilot R4: Niveau 0,378, zwischen den Wellen 0,294, Differenz −0,084copilot B1: Niveau 0,374, zwischen den Wellen 0,180, Differenz −0,195gemini D1: Niveau 0,360, zwischen den Wellen 0,036, Differenz −0,324perplexity R4: Niveau 0,356, zwischen den Wellen 0,131, Differenz −0,226chatgpt D1: Niveau 0,355, zwischen den Wellen 0,054, Differenz −0,301copilot X4: Niveau 0,344, zwischen den Wellen 0,339, Differenz −0,005gemini R3: Niveau 0,342, zwischen den Wellen 0,249, Differenz −0,093copilot B2: Niveau 0,342, zwischen den Wellen 0,136, Differenz −0,206gemini R4: Niveau 0,334, zwischen den Wellen 0,233, Differenz −0,101copilot R3: Niveau 0,328, zwischen den Wellen 0,299, Differenz −0,028chatgpt C2: Niveau 0,327, zwischen den Wellen 0,207, Differenz −0,120metaai D1: Niveau 0,324, zwischen den Wellen 0,191, Differenz −0,133perplexity C2: Niveau 0,324, zwischen den Wellen 0,327, Differenz +0,003copilot R2: Niveau 0,317, zwischen den Wellen 0,224, Differenz −0,094metaai B1: Niveau 0,314, zwischen den Wellen 0,222, Differenz −0,092copilot R1: Niveau 0,312, zwischen den Wellen 0,192, Differenz −0,120chatgpt R3: Niveau 0,308, zwischen den Wellen 0,162, Differenz −0,146metaai X2: Niveau 0,304, zwischen den Wellen 0,237, Differenz −0,066chatgpt X2: Niveau 0,301, zwischen den Wellen 0,097, Differenz −0,203metaai A1: Niveau 0,300, zwischen den Wellen 0,268, Differenz −0,032gemini R1: Niveau 0,295, zwischen den Wellen 0,219, Differenz −0,076perplexity D1: Niveau 0,293, zwischen den Wellen 0,079, Differenz −0,214claude B2: Niveau 0,293, zwischen den Wellen 0,266, Differenz −0,027metaai C2: Niveau 0,293, zwischen den Wellen 0,228, Differenz −0,065copilot A1: Niveau 0,292, zwischen den Wellen 0,313, Differenz +0,020gemini B1: Niveau 0,291, zwischen den Wellen 0,175, Differenz −0,116metaai R1: Niveau 0,288, zwischen den Wellen 0,286, Differenz −0,003metaai A2: Niveau 0,287, zwischen den Wellen 0,262, Differenz −0,025googleai B1: Niveau 0,286, zwischen den Wellen 0,004, Differenz −0,282perplexity R1: Niveau 0,285, zwischen den Wellen 0,156, Differenz −0,129gemini R2: Niveau 0,278, zwischen den Wellen 0,255, Differenz −0,023claude A1: Niveau 0,278, zwischen den Wellen 0,273, Differenz −0,005claude X1: Niveau 0,278, zwischen den Wellen 0,258, Differenz −0,020metaai R4: Niveau 0,273, zwischen den Wellen 0,208, Differenz −0,065chatgpt R1: Niveau 0,270, zwischen den Wellen 0,185, Differenz −0,085chatgpt A1: Niveau 0,270, zwischen den Wellen 0,182, Differenz −0,087chatgpt R2: Niveau 0,269, zwischen den Wellen 0,175, Differenz −0,094metaai B4: Niveau 0,266, zwischen den Wellen 0,286, Differenz +0,021metaai R3: Niveau 0,266, zwischen den Wellen 0,202, Differenz −0,063copilot X3: Niveau 0,263, zwischen den Wellen 0,190, Differenz −0,073copilot X2: Niveau 0,252, zwischen den Wellen 0,268, Differenz +0,016copilot A2: Niveau 0,251, zwischen den Wellen 0,234, Differenz −0,016metaai D2: Niveau 0,249, zwischen den Wellen 0,158, Differenz −0,091metaai B2: Niveau 0,249, zwischen den Wellen 0,214, Differenz −0,035copilot C1: Niveau 0,245, zwischen den Wellen 0,230, Differenz −0,014claude R4: Niveau 0,244, zwischen den Wellen 0,225, Differenz −0,019googleai R2: Niveau 0,244, zwischen den Wellen 0,118, Differenz −0,126claude R1: Niveau 0,243, zwischen den Wellen 0,225, Differenz −0,018perplexity R2: Niveau 0,237, zwischen den Wellen 0,167, Differenz −0,070gemini A1: Niveau 0,235, zwischen den Wellen 0,162, Differenz −0,073metaai X4: Niveau 0,233, zwischen den Wellen 0,207, Differenz −0,026gemini A2: Niveau 0,232, zwischen den Wellen 0,097, Differenz −0,135googleai R4: Niveau 0,231, zwischen den Wellen 0,010, Differenz −0,220metaai B3: Niveau 0,229, zwischen den Wellen 0,236, Differenz +0,007claude C1: Niveau 0,227, zwischen den Wellen 0,178, Differenz −0,049claude R3: Niveau 0,223, zwischen den Wellen 0,220, Differenz −0,003perplexity R3: Niveau 0,222, zwischen den Wellen 0,173, Differenz −0,049chatgpt B2: Niveau 0,220, zwischen den Wellen 0,139, Differenz −0,081metaai X1: Niveau 0,219, zwischen den Wellen 0,247, Differenz +0,028chatgpt A2: Niveau 0,217, zwischen den Wellen 0,153, Differenz −0,064perplexity A1: Niveau 0,212, zwischen den Wellen 0,166, Differenz −0,046copilot D2: Niveau 0,205, zwischen den Wellen 0,144, Differenz −0,061chatgpt C1: Niveau 0,205, zwischen den Wellen 0,161, Differenz −0,044metaai C1: Niveau 0,202, zwischen den Wellen 0,211, Differenz +0,009googleai A1: Niveau 0,199, zwischen den Wellen 0,032, Differenz −0,167metaai R2: Niveau 0,196, zwischen den Wellen 0,041, Differenz −0,155gemini X1: Niveau 0,193, zwischen den Wellen 0,103, Differenz −0,090perplexity D2: Niveau 0,190, zwischen den Wellen 0,179, Differenz −0,011googleai D1: Niveau 0,188, zwischen den Wellen 0,000, Differenz −0,188gemini B2: Niveau 0,187, zwischen den Wellen 0,223, Differenz +0,036gemini D2: Niveau 0,183, zwischen den Wellen 0,147, Differenz −0,035gemini X3: Niveau 0,182, zwischen den Wellen 0,166, Differenz −0,017claude R2: Niveau 0,182, zwischen den Wellen 0,205, Differenz +0,024chatgpt X4: Niveau 0,180, zwischen den Wellen 0,163, Differenz −0,017perplexity C1: Niveau 0,169, zwischen den Wellen 0,241, Differenz +0,072googleai D2: Niveau 0,167, zwischen den Wellen 0,005, Differenz −0,161chatgpt X3: Niveau 0,167, zwischen den Wellen 0,156, Differenz −0,010claude D2: Niveau 0,163, zwischen den Wellen 0,166, Differenz +0,003chatgpt R4: Niveau 0,159, zwischen den Wellen 0,171, Differenz +0,012perplexity A2: Niveau 0,158, zwischen den Wellen 0,184, Differenz +0,026gemini X2: Niveau 0,153, zwischen den Wellen 0,160, Differenz +0,008claude X3: Niveau 0,127, zwischen den Wellen 0,139, Differenz +0,012metaai X3: Niveau 0,099, zwischen den Wellen 0,183, Differenz +0,083googleai R1: Niveau 0,094, zwischen den Wellen 0,007, Differenz −0,087perplexity B2: Niveau 0,087, zwischen den Wellen 0,113, Differenz +0,025googleai C1: Niveau 0,083, zwischen den Wellen 0,005, Differenz −0,079claude X4: Niveau 0,076, zwischen den Wellen 0,092, Differenz +0,016chatgpt X1: Niveau 0,068, zwischen den Wellen 0,066, Differenz −0,002googleai R3: Niveau 0,064, zwischen den Wellen 0,038, Differenz −0,026googleai B2: Niveau 0,036, zwischen den Wellen 0,005, Differenz −0,030Textähnlichkeit, 0 bis 0,65
  • claude B1: Niveau 0,600, zwischen den Wellen 0,455, Differenz −0,145
  • claude X2: Niveau 0,559, zwischen den Wellen 0,254, Differenz −0,306
  • copilot C2: Niveau 0,507, zwischen den Wellen 0,229, Differenz −0,278
  • chatgpt B1: Niveau 0,441, zwischen den Wellen 0,117, Differenz −0,324
  • googleai A2: Niveau 0,432, zwischen den Wellen 0,024, Differenz −0,408
  • claude A2: Niveau 0,428, zwischen den Wellen 0,395, Differenz −0,033
  • claude C2: Niveau 0,411, zwischen den Wellen 0,193, Differenz −0,218
  • copilot D1: Niveau 0,410, zwischen den Wellen 0,098, Differenz −0,313
  • claude D1: Niveau 0,403, zwischen den Wellen 0,233, Differenz −0,169
  • copilot X1: Niveau 0,403, zwischen den Wellen 0,400, Differenz −0,003
  • gemini C2: Niveau 0,388, zwischen den Wellen 0,223, Differenz −0,165
  • gemini X4: Niveau 0,384, zwischen den Wellen 0,204, Differenz −0,180
  • chatgpt D2: Niveau 0,381, zwischen den Wellen 0,154, Differenz −0,227
  • copilot R4: Niveau 0,378, zwischen den Wellen 0,294, Differenz −0,084
  • copilot B1: Niveau 0,374, zwischen den Wellen 0,180, Differenz −0,195
  • gemini D1: Niveau 0,360, zwischen den Wellen 0,036, Differenz −0,324
  • perplexity R4: Niveau 0,356, zwischen den Wellen 0,131, Differenz −0,226
  • chatgpt D1: Niveau 0,355, zwischen den Wellen 0,054, Differenz −0,301
  • copilot X4: Niveau 0,344, zwischen den Wellen 0,339, Differenz −0,005
  • gemini R3: Niveau 0,342, zwischen den Wellen 0,249, Differenz −0,093
  • copilot B2: Niveau 0,342, zwischen den Wellen 0,136, Differenz −0,206
  • gemini R4: Niveau 0,334, zwischen den Wellen 0,233, Differenz −0,101
  • copilot R3: Niveau 0,328, zwischen den Wellen 0,299, Differenz −0,028
  • chatgpt C2: Niveau 0,327, zwischen den Wellen 0,207, Differenz −0,120
  • metaai D1: Niveau 0,324, zwischen den Wellen 0,191, Differenz −0,133
  • perplexity C2: Niveau 0,324, zwischen den Wellen 0,327, Differenz +0,003
  • copilot R2: Niveau 0,317, zwischen den Wellen 0,224, Differenz −0,094
  • metaai B1: Niveau 0,314, zwischen den Wellen 0,222, Differenz −0,092
  • copilot R1: Niveau 0,312, zwischen den Wellen 0,192, Differenz −0,120
  • chatgpt R3: Niveau 0,308, zwischen den Wellen 0,162, Differenz −0,146
  • metaai X2: Niveau 0,304, zwischen den Wellen 0,237, Differenz −0,066
  • chatgpt X2: Niveau 0,301, zwischen den Wellen 0,097, Differenz −0,203
  • metaai A1: Niveau 0,300, zwischen den Wellen 0,268, Differenz −0,032
  • gemini R1: Niveau 0,295, zwischen den Wellen 0,219, Differenz −0,076
  • perplexity D1: Niveau 0,293, zwischen den Wellen 0,079, Differenz −0,214
  • claude B2: Niveau 0,293, zwischen den Wellen 0,266, Differenz −0,027
  • metaai C2: Niveau 0,293, zwischen den Wellen 0,228, Differenz −0,065
  • copilot A1: Niveau 0,292, zwischen den Wellen 0,313, Differenz +0,020
  • gemini B1: Niveau 0,291, zwischen den Wellen 0,175, Differenz −0,116
  • metaai R1: Niveau 0,288, zwischen den Wellen 0,286, Differenz −0,003
  • metaai A2: Niveau 0,287, zwischen den Wellen 0,262, Differenz −0,025
  • googleai B1: Niveau 0,286, zwischen den Wellen 0,004, Differenz −0,282
  • perplexity R1: Niveau 0,285, zwischen den Wellen 0,156, Differenz −0,129
  • gemini R2: Niveau 0,278, zwischen den Wellen 0,255, Differenz −0,023
  • claude A1: Niveau 0,278, zwischen den Wellen 0,273, Differenz −0,005
  • claude X1: Niveau 0,278, zwischen den Wellen 0,258, Differenz −0,020
  • metaai R4: Niveau 0,273, zwischen den Wellen 0,208, Differenz −0,065
  • chatgpt R1: Niveau 0,270, zwischen den Wellen 0,185, Differenz −0,085
  • chatgpt A1: Niveau 0,270, zwischen den Wellen 0,182, Differenz −0,087
  • chatgpt R2: Niveau 0,269, zwischen den Wellen 0,175, Differenz −0,094
  • metaai B4: Niveau 0,266, zwischen den Wellen 0,286, Differenz +0,021
  • metaai R3: Niveau 0,266, zwischen den Wellen 0,202, Differenz −0,063
  • copilot X3: Niveau 0,263, zwischen den Wellen 0,190, Differenz −0,073
  • copilot X2: Niveau 0,252, zwischen den Wellen 0,268, Differenz +0,016
  • copilot A2: Niveau 0,251, zwischen den Wellen 0,234, Differenz −0,016
  • metaai D2: Niveau 0,249, zwischen den Wellen 0,158, Differenz −0,091
  • metaai B2: Niveau 0,249, zwischen den Wellen 0,214, Differenz −0,035
  • copilot C1: Niveau 0,245, zwischen den Wellen 0,230, Differenz −0,014
  • claude R4: Niveau 0,244, zwischen den Wellen 0,225, Differenz −0,019
  • googleai R2: Niveau 0,244, zwischen den Wellen 0,118, Differenz −0,126
  • claude R1: Niveau 0,243, zwischen den Wellen 0,225, Differenz −0,018
  • perplexity R2: Niveau 0,237, zwischen den Wellen 0,167, Differenz −0,070
  • gemini A1: Niveau 0,235, zwischen den Wellen 0,162, Differenz −0,073
  • metaai X4: Niveau 0,233, zwischen den Wellen 0,207, Differenz −0,026
  • gemini A2: Niveau 0,232, zwischen den Wellen 0,097, Differenz −0,135
  • googleai R4: Niveau 0,231, zwischen den Wellen 0,010, Differenz −0,220
  • metaai B3: Niveau 0,229, zwischen den Wellen 0,236, Differenz +0,007
  • claude C1: Niveau 0,227, zwischen den Wellen 0,178, Differenz −0,049
  • claude R3: Niveau 0,223, zwischen den Wellen 0,220, Differenz −0,003
  • perplexity R3: Niveau 0,222, zwischen den Wellen 0,173, Differenz −0,049
  • chatgpt B2: Niveau 0,220, zwischen den Wellen 0,139, Differenz −0,081
  • metaai X1: Niveau 0,219, zwischen den Wellen 0,247, Differenz +0,028
  • chatgpt A2: Niveau 0,217, zwischen den Wellen 0,153, Differenz −0,064
  • perplexity A1: Niveau 0,212, zwischen den Wellen 0,166, Differenz −0,046
  • copilot D2: Niveau 0,205, zwischen den Wellen 0,144, Differenz −0,061
  • chatgpt C1: Niveau 0,205, zwischen den Wellen 0,161, Differenz −0,044
  • metaai C1: Niveau 0,202, zwischen den Wellen 0,211, Differenz +0,009
  • googleai A1: Niveau 0,199, zwischen den Wellen 0,032, Differenz −0,167
  • metaai R2: Niveau 0,196, zwischen den Wellen 0,041, Differenz −0,155
  • gemini X1: Niveau 0,193, zwischen den Wellen 0,103, Differenz −0,090
  • perplexity D2: Niveau 0,190, zwischen den Wellen 0,179, Differenz −0,011
  • googleai D1: Niveau 0,188, zwischen den Wellen 0,000, Differenz −0,188
  • gemini B2: Niveau 0,187, zwischen den Wellen 0,223, Differenz +0,036
  • gemini D2: Niveau 0,183, zwischen den Wellen 0,147, Differenz −0,035
  • gemini X3: Niveau 0,182, zwischen den Wellen 0,166, Differenz −0,017
  • claude R2: Niveau 0,182, zwischen den Wellen 0,205, Differenz +0,024
  • chatgpt X4: Niveau 0,180, zwischen den Wellen 0,163, Differenz −0,017
  • perplexity C1: Niveau 0,169, zwischen den Wellen 0,241, Differenz +0,072
  • googleai D2: Niveau 0,167, zwischen den Wellen 0,005, Differenz −0,161
  • chatgpt X3: Niveau 0,167, zwischen den Wellen 0,156, Differenz −0,010
  • claude D2: Niveau 0,163, zwischen den Wellen 0,166, Differenz +0,003
  • chatgpt R4: Niveau 0,159, zwischen den Wellen 0,171, Differenz +0,012
  • perplexity A2: Niveau 0,158, zwischen den Wellen 0,184, Differenz +0,026
  • gemini X2: Niveau 0,153, zwischen den Wellen 0,160, Differenz +0,008
  • claude X3: Niveau 0,127, zwischen den Wellen 0,139, Differenz +0,012
  • metaai X3: Niveau 0,099, zwischen den Wellen 0,183, Differenz +0,083
  • googleai R1: Niveau 0,094, zwischen den Wellen 0,007, Differenz −0,087
  • perplexity B2: Niveau 0,087, zwischen den Wellen 0,113, Differenz +0,025
  • googleai C1: Niveau 0,083, zwischen den Wellen 0,005, Differenz −0,079
  • claude X4: Niveau 0,076, zwischen den Wellen 0,092, Differenz +0,016
  • chatgpt X1: Niveau 0,068, zwischen den Wellen 0,066, Differenz −0,002
  • googleai R3: Niveau 0,064, zwischen den Wellen 0,038, Differenz −0,026
  • googleai B2: Niveau 0,036, zwischen den Wellen 0,005, Differenz −0,030

Jede Linie hier ist mit floor-test-cells-08284347.csv abgeglichen, der ersten Datei im Download unten, zuletzt am 3. September 2026: Alle 103 stimmen überein. Die Markierungen sind 2,4 und 3,6 px groß statt der 8 px, die ein Punktdiagramm sonst verlangt, denn 103 Linien in dieser Größe ergäben ein anderes Bild; die Werte jeder Linie stehen außerdem unter der Abbildung in einer Liste, die nicht gezeichnet, aber von Screenreadern vorgelesen wird. Die Gegenfälle sind größer gezeichnet als der Rest; das ist die einzige Stelle, an der diese Abbildung der Minderheit bewusst mehr Gewicht gibt als der Mehrheit.

Je KI-System, nur Zellen mit Niveau gezählt. Die KI-Systeme sind hier nicht miteinander vergleichbar: Sie wurden unterschiedlich oft erfasst, und die Zählungen unten beschreiben, was bei der Erfassung anfiel, nicht, welches KI-System stabiler ist. Mistral hat keine Zeile, weil für keine seiner fünf Zellen ein Niveau messbar war, und ein KI-System ohne Niveau lässt sich nicht gegen sein eigenes Niveau prüfen.

Zellen unter ihrem eigenen Niveau, von den Zellen mit Niveau. Umfang 08284347.
KI-SystemAbgewichen, von den Zellen mit Niveau
metaai13 von 18
chatgpt15 von 16
claude12 von 16
copilot14 von 16
gemini13 von 15
googleai11 von 11
perplexity7 von 11

4 · Was andere mit demselben Maß gemessen haben

Drei veröffentlichte Messungen verwenden dieselbe Familie von Maßen für dieselbe Frage, und eine von ihnen hat die Frage dieser Studie bereits beantwortet. Sie stehen hier, weil man eine Zahl, die ohne sie berichtet wird, glauben, aber nicht prüfen kann.

Frühere Messungen derselben Größe.
QuelleGemessenZahl
Sielinski, IQRush, arXiv 2603.08924Ähnlichkeit wiederholter Abfragen auf Domain-EbeneJaccard 0,29 bis 0,50 über drei KI-Systeme
Schulte und andere, Universität St. Gallen, arXiv 2604.07585Über­schneidung der Quellen bei gleicher Abfrage am selben TagJaccard 0,32 bis 0,43
Jack und andere, Unusual, arXiv 2605.27440Ähnlichkeit über Paraphrasen hinweg, gegen ein Niveau aus wiederholten gleichen Prompts0,288 bei kosmetischer Um­formulierung und 0,135 bei Um­formulierung, die eine Bedingung hinzufügt, gegenüber einem Niveau von 0,50 bis 0,61

Die dritte Zeile misst, was die nächste Studie mit diesem Instrument messen soll. Ich sage das offen, statt es später entdecken zu lassen: Die Frage ist schon gestellt, und der Beitrag hier ist enger als ein erstes Ergebnis. Neu ist hier, dass das Niveau je Zelle gemessen wird, sodass jeder Vergleich am Rauschen derselben Frage beim selben KI-System gemessen wird statt an einer gepoolten Zahl, und ein gepooltes Niveau kann eine stabile Frage bei einem verrauschten KI-System nicht vom umgekehrten Fall unterscheiden.

Alle drei haben Autoren bei Unternehmen, die in diesem Feld Produkte oder Dienstleistungen verkaufen. In zwei der drei läuft der Befund gegen das eigene kommerzielle Interesse der Autoren, und das ist die Richtung, die eine Zahl von Anbieterseite glaubwürdiger macht statt weniger. Keine von ihnen hat diesen Gegenstand gemessen, und diese Studie untersucht einen Gegenstand, der gewählt wurde, weil wenig über ihn veröffentlicht ist; ein Unterschied zu ihren Zahlen kann also am Gegenstand liegen und nicht an der Methode.

5 · Was das nicht beweist

Vier Schwächen sind strukturell, nicht beiläufig. Drei wurden gefunden, indem man auf die Verteilung schaute statt auf das Hauptergebnis, und die vierte kam aus einer Prüfung, die aus einem anderen Grund lief.

Das Kriterium hängt davon ab, wie hoch das Niveau liegt. Eine Zelle mit hohem Niveau hat mehr Raum, darunter zu fallen. Teilt man die 103 Zellen nach der Höhe ihres eigenen Niveaus auf, zeigt sich genau dieses Gefälle, und es ist steil.

Anteil abgewichener Zellen nach Rangviertel des eigenen Niveaus. Die 103 Zellen sind nach noise_sim_text sortiert und in Gruppen von 26, 26, 25 und 26 geteilt.
RangviertelEnthaltene NiveausAbgewichen
unterstes Viertel0,0357 bis 0,198515 von 26, 57,7 Prozent
zweites Viertel0,2021 bis 0,265522 von 26, 84,6 Prozent
drittes Viertel0,2656 bis 0,317423 von 25, 92,0 Prozent
oberstes Viertel0,3237 bis 0,600025 von 26, 96,2 Prozent

Die mittlere Spalte ist die Spanne der Niveaus, die in jedem Viertel gelandet sind, keine Trenngrenze. Die Viertel sind nach Rang gebildet, nicht nach Wert, und eine Einteilung an den drei Quartilswerten aus Abschnitt 2 ergibt stattdessen 57,7; 81,5; 95,8 und 96,2. Korrigiert am 3. September 2026.

Der Anteil von 82,5 Prozent im Hauptergebnis ist also ein Durchschnitt über vier sehr verschiedene Populationen. Die Permutationsverteilung berücksichtigt das, weil sie die Etiketten innerhalb jeder Zelle vertauscht und so das eigene Niveau jeder Zelle erhält, aber die eine Zahl verdeckt trotzdem ein Gefälle, das Sie zu sehen verdienen.

Das Kriterium ist binär und wirft die Größe weg. „Abgewichen“ zählt eine Zelle, die um 0,4 fiel, genauso wie eine, die um 0,003 fiel. Von den 85 abgewichenen unterschreiten 6 ihr Niveau um höchstens 0,01 und 15 um höchstens 0,02. Der Median der Unterschreitung ist 0,084, die größte 0,408. Der Effekt besteht also nicht aus Grenzfällen, aber ungefähr jede sechste abgewichene Zelle liegt so nah an ihrem Niveau, dass ein anderer Tokenizer sie auf die andere Seite bringen könnte.

Es gibt nicht den einen Abstand. Der Zeitraum zwischen den beiden verglichenen Wellen einer Zelle reicht von 1 Tag bis 52. Das Ergebnis „sieben Wochen Veränderung“ zu nennen, wäre falsch. Was die Streuung liefert, ist eine Aufschlüsselung nach Abstand, und die Zusammenfassungsdatei sagt, wie sie zu lesen ist: „Bands below compare DIFFERENT cells and different engines to each other, not the same cell over time.“ (Sinngemäß: Die Bänder unten vergleichen VERSCHIEDENE Zellen und verschiedene KI-Systeme miteinander, nicht dieselbe Zelle über die Zeit.)

Anteil abgewichener Zellen nach dem Abstand zwischen den beiden verglichenen Wellen. Zwischen Zellen, nicht dieselbe Zelle über die Zeit.
AbstandAbgewichen
1 bis 14 Tage8 von 12, 66,7 Prozent
15 bis 40 Tage28 von 35, 80,0 Prozent
41 Tage oder mehr49 von 56, 87,5 Prozent

Vergleicht man innerhalb einer einzelnen Zelle ihren längeren Abstand mit ihrem kürzeren, ist die Differenz −0,047, mit einem 95-%-Intervall von −0,058 bis −0,031, und 87 von 108 Zellen sind sich beim längeren Abstand weniger ähnlich, 21 ähnlicher. Mehr Zeit, weniger Ähnlichkeit, gemessen innerhalb von Zellen, sodass kein Effekt der Zusammensetzung der KI-Systeme es hervorbringen kann. Es ist um Effekte des KI-Systems und, bis auf zwei unten genannte Zellen, der Frage bereinigt, nicht um Effekte des Zeitraums: In diesem Archiv ist jede Welle zugleich eine Sitzung.

Jedes Paar von Erhebungstagen, gemessen am kürzesten Abstand derselben Zelle. Zusammengefasst liegen die Paare innerhalb eines Monats bei −0,011 und die Paare über die Monatsgrenze bei −0,045. Zeile für Zeile reichen die Zeilen innerhalb eines Monats von −0,005 bis −0,021, außer der Zeile 4. Juli → 5. Juli (10 Zellen, hohl), die bei +0,075 liegt; die Zeilen über die Monatsgrenze reichen von −0,026 bis −0,078. Innerhalb einer Zelle zeigt sich derselbe Sprung: Von den 61 Zellen, die Paare beider Arten haben, haben 51 über die Monatsgrenze hinweg eine niedrigere mediane Differenz als innerhalb eines Monats. Die Abbildung kann den Monat nicht vom Abstand trennen: Jedes Paar über die Grenze liegt 32 Tage oder mehr auseinander, jedes Paar innerhalb eines Monats 15 Tage oder weniger. In diesem Sinn ist das Ergebnis nicht um den Zeitraum bereinigt.

Eine Zeile je Paar von Erhebungstagen; Wellen mit demselben Datum sind zusammengefasst. Graue Punkte: die Ähnlichkeit jeder Zelle bei diesem Paar minus ihre eigene beim kürzesten Abstand (der nächste Tag; bei 10 Zellen derselbe Tag); dieser bildet die Nulllinie und ist nicht als Zeile gezeichnet. Dieses Bezugspaar liegt bei 60 Zellen im Juli und bei 48 im August. Hat eine Zelle zwei Paare mit demselben Abstand, zählt nur das erste in der Reihenfolge der Datei. Blauer Strich: Median der Zeile; hohl, wenn die Zeile weniger als 20 Zellen hat. Dieselben Zellen stehen in mehreren Zeilen; keine Rate; explorativ. Die Höhe jeder Zeile hängt von dieser Regel bei Gleichstand ab, deren Spanne die Seite weiter unten angibt; der Sprung zwischen den Zeilen innerhalb eines Monats und denen über die Monatsgrenze nicht.

−0,4−0,20+0,24. Juli → 5. Juli, 1 Tag, 10 Zellen, Median +0,075, Werte: −0,047; −0,112; +0,018; +0,072; +0,223; +0,091; +0,077; +0,092; +0,081; +0,0694. Juli → 5. Juli · 1 Tag · 10 Zellen5. Juli → 9. Juli, 4 Tage, 53 Zellen, Median −0,014, Werte: −0,027; −0,099; −0,022; +0,083; −0,174; −0,018; +0,224; −0,015; +0,051; +0,174; −0,073; +0,096; +0,033; −0,019; −0,245; +0,062; −0,391; −0,153; −0,014; −0,325; +0,035; −0,070; −0,006; −0,035; +0,064; +0,053; −0,026; −0,171; −0,050; −0,007; −0,040; −0,048; −0,014; +0,101; −0,021; +0,023; +0,003; −0,068; −0,037; −0,033; −0,023; +0,041; +0,061; +0,053; +0,008; −0,011; +0,027; +0,010; +0,025; −0,021; +0,079; +0,095; +0,0305. Juli → 9. Juli · 4 Tage · 53 Zellen4. Juli → 9. Juli, 5 Tage, 43 Zellen, Median −0,012, Werte: −0,113; +0,040; −0,012; +0,018; +0,066; −0,107; −0,091; −0,011; −0,036; +0,038; +0,031; −0,094; +0,010; −0,030; +0,025; −0,024; +0,083; −0,144; +0,053; −0,075; −0,073; −0,018; −0,015; +0,093; −0,035; −0,026; +0,011; −0,112; −0,034; −0,034; −0,058; −0,011; +0,090; +0,048; +0,038; −0,042; −0,004; −0,014; +0,026; −0,028; +0,060; +0,027; +0,0484. Juli → 9. Juli · 5 Tage · 43 Zellen11. Aug. → 25. Aug., 14 Tage, 81 Zellen, Median −0,005, Werte: −0,082; −0,030; −0,165; +0,002; −0,043; −0,059; −0,030; +0,054; +0,191; +0,246; +0,037; −0,053; −0,180; +0,004; −0,022; −0,033; −0,075; −0,083; −0,163; +0,010; −0,463; −0,081; −0,081; −0,005; −0,371; −0,072; −0,011; −0,105; −0,046; +0,022; +0,058; +0,034; +0,032; +0,016; +0,047; +0,057; +0,015; +0,032; +0,144; −0,036; +0,009; −0,025; +0,051; −0,011; +0,013; +0,006; −0,299; −0,098; +0,074; +0,000; +0,024; +0,167; +0,129; +0,095; +0,104; +0,024; −0,029; +0,064; −0,131; +0,005; +0,013; +0,028; −0,040; −0,108; +0,040; −0,120; −0,011; −0,085; −0,019; −0,017; −0,059; +0,004; +0,055; −0,096; +0,005; −0,061; +0,046; −0,034; +0,018; −0,098; +0,03911. Aug. → 25. Aug. · 14 Tage · 81 Zellen10. Aug. → 25. Aug., 15 Tage, 81 Zellen, Median −0,021, Werte: −0,080; −0,016; −0,137; −0,020; −0,027; −0,071; +0,113; +0,056; −0,053; +0,287; +0,019; −0,010; −0,171; +0,019; −0,038; −0,048; −0,140; −0,056; −0,166; −0,061; −0,459; −0,058; −0,084; +0,010; −0,373; −0,040; +0,026; −0,100; +0,032; +0,012; +0,039; +0,048; +0,043; −0,021; +0,216; −0,112; −0,060; −0,042; +0,095; −0,011; +0,034; −0,046; −0,022; −0,005; +0,026; +0,026; −0,309; −0,118; +0,096; −0,026; +0,020; +0,003; +0,124; +0,070; −0,021; +0,023; −0,030; −0,011; −0,095; +0,019; −0,010; +0,015; −0,056; −0,149; +0,000; −0,115; +0,012; −0,085; −0,031; −0,075; −0,028; +0,038; −0,007; −0,066; +0,017; −0,039; +0,022; −0,030; +0,035; −0,117; +0,01110. Aug. → 25. Aug. · 15 Tage · 81 ZellenJuli → August9. Juli → 10. Aug., 32 Tage, 55 Zellen, Median −0,041, Werte: −0,037; −0,025; −0,032; −0,040; −0,069; −0,015; −0,026; −0,108; +0,021; −0,070; −0,110; −0,112; −0,158; −0,193; −0,019; −0,376; −0,186; −0,026; −0,289; −0,013; −0,123; −0,041; −0,047; −0,054; −0,258; −0,235; −0,041; −0,070; −0,032; −0,049; +0,011; −0,003; −0,101; −0,047; −0,046; +0,083; −0,033; −0,002; −0,037; +0,019; −0,024; −0,035; −0,138; +0,003; −0,053; +0,151; +0,013; +0,013; −0,042; −0,042; −0,230; +0,046; +0,018; −0,084; −0,1179. Juli → 10. Aug. · 32 Tage · 55 Zellen9. Juli → 11. Aug., 33 Tage, 55 Zellen, Median −0,033, Werte: −0,044; −0,045; −0,064; +0,039; −0,021; −0,008; −0,027; −0,121; −0,028; −0,082; −0,130; −0,113; −0,073; −0,192; +0,134; −0,377; −0,181; +0,057; −0,263; −0,035; −0,138; −0,023; −0,032; −0,050; −0,226; −0,230; −0,080; −0,072; −0,016; −0,069; +0,085; −0,004; −0,117; −0,054; −0,032; +0,092; −0,030; −0,002; −0,029; +0,033; −0,017; −0,033; −0,123; +0,005; −0,020; +0,115; +0,010; +0,012; +0,052; −0,048; −0,217; +0,032; +0,039; −0,060; −0,0689. Juli → 11. Aug. · 33 Tage · 55 Zellen5. Juli → 10. Aug., 36 Tage, 61 Zellen, Median −0,046, Werte: −0,076; −0,029; −0,007; −0,122; −0,148; −0,086; −0,047; −0,034; −0,166; +0,025; +0,032; −0,030; −0,008; −0,092; −0,123; −0,104; −0,173; −0,291; −0,043; +0,002; −0,175; −0,172; −0,065; −0,205; −0,359; −0,046; −0,069; −0,004; −0,049; −0,046; −0,017; −0,114; −0,052; −0,056; −0,188; −0,005; −0,204; −0,075; −0,044; −0,033; −0,038; −0,021; −0,035; +0,028; −0,026; −0,122; −0,006; −0,043; −0,047; −0,027; +0,022; −0,017; −0,006; −0,055; −0,046; −0,136; −0,020; +0,002; +0,047; −0,014; −0,0185. Juli → 10. Aug. · 36 Tage · 61 Zellen4. Juli → 10. Aug., 37 Tage, 45 Zellen, Median −0,026, Werte: −0,145; +0,200; −0,030; −0,107; +0,075; −0,103; −0,102; −0,157; −0,155; −0,045; −0,072; +0,069; −0,019; −0,026; −0,075; −0,106; −0,016; −0,056; −0,144; +0,019; −0,221; −0,055; −0,004; +0,004; +0,003; +0,016; −0,004; −0,022; −0,012; −0,106; −0,007; −0,038; −0,099; −0,015; −0,004; −0,008; +0,048; −0,036; −0,075; −0,142; −0,042; +0,001; +0,043; +0,039; +0,0114. Juli → 10. Aug. · 37 Tage · 45 Zellen5. Juli → 11. Aug., 37 Tage, 16 Zellen, Median −0,078, Werte: −0,096; −0,044; +0,008; −0,115; −0,165; −0,039; −0,060; +0,062; −0,274; +0,058; −0,032; −0,211; −0,190; +0,103; −0,180; −0,3605. Juli → 11. Aug. · 37 Tage · 16 Zellen4. Juli → 11. Aug., 38 Tage, 45 Zellen, Median −0,032, Werte: −0,074; +0,144; −0,019; −0,149; +0,033; −0,089; −0,030; −0,168; −0,077; −0,075; −0,068; +0,034; +0,000; −0,046; −0,045; −0,134; −0,037; −0,065; −0,167; +0,016; −0,231; −0,060; −0,055; −0,013; −0,007; −0,009; −0,034; −0,027; −0,021; −0,118; −0,011; −0,016; −0,082; −0,004; −0,007; −0,024; +0,101; −0,003; −0,050; −0,126; −0,018; −0,032; +0,016; +0,034; −0,0344. Juli → 11. Aug. · 38 Tage · 45 Zellen9. Juli → 25. Aug., 47 Tage, 50 Zellen, Median −0,045, Werte: −0,044; −0,129; +0,000; −0,054; −0,003; +0,009; −0,091; −0,045; −0,087; −0,103; −0,058; −0,097; −0,252; −0,034; −0,427; −0,179; −0,005; −0,410; −0,028; −0,134; −0,021; +0,025; −0,036; −0,241; −0,233; −0,059; −0,090; −0,014; −0,064; −0,014; −0,153; −0,040; −0,036; −0,036; +0,028; −0,037; +0,019; −0,065; −0,178; −0,020; −0,039; −0,015; +0,014; +0,013; −0,074; −0,187; +0,117; +0,034; −0,065; −0,1559. Juli → 25. Aug. · 47 Tage · 50 Zellen5. Juli → 25. Aug., 51 Tage, 56 Zellen, Median −0,064, Werte: −0,086; −0,077; −0,177; −0,149; +0,039; −0,056; −0,171; +0,074; −0,098; −0,178; −0,011; −0,090; −0,103; −0,072; −0,079; −0,082; −0,293; −0,058; −0,459; −0,166; −0,063; −0,459; −0,058; −0,123; −0,050; −0,118; −0,037; +0,001; −0,046; −0,116; −0,066; −0,271; −0,219; −0,047; +0,001; −0,078; −0,013; −0,086; −0,039; −0,040; −0,033; −0,116; −0,146; +0,003; −0,054; −0,027; +0,039; −0,025; −0,004; −0,057; −0,170; −0,054; −0,011; −0,027; −0,126; −0,0065. Juli → 25. Aug. · 51 Tage · 56 Zellen4. Juli → 25. Aug., 52 Tage, 44 Zellen, Median −0,048, Werte: −0,111; +0,155; −0,123; −0,188; −0,015; −0,129; −0,095; −0,033; −0,093; −0,077; −0,038; −0,123; +0,006; −0,130; −0,048; −0,046; −0,025; −0,144; −0,080; −0,195; −0,235; −0,052; −0,005; −0,057; −0,027; −0,099; −0,025; −0,017; −0,030; −0,125; −0,131; −0,002; −0,043; −0,001; +0,036; −0,048; +0,019; −0,047; −0,166; −0,057; −0,025; −0,022; −0,138; −0,0274. Juli → 25. Aug. · 52 Tage · 44 Zellen0 = der eigene kürzeste Abstand der Zelle
  • 4. Juli → 5. Juli, 1 Tag, 10 Zellen, Median +0,075, Werte: −0,047; −0,112; +0,018; +0,072; +0,223; +0,091; +0,077; +0,092; +0,081; +0,069
  • 5. Juli → 9. Juli, 4 Tage, 53 Zellen, Median −0,014, Werte: −0,027; −0,099; −0,022; +0,083; −0,174; −0,018; +0,224; −0,015; +0,051; +0,174; −0,073; +0,096; +0,033; −0,019; −0,245; +0,062; −0,391; −0,153; −0,014; −0,325; +0,035; −0,070; −0,006; −0,035; +0,064; +0,053; −0,026; −0,171; −0,050; −0,007; −0,040; −0,048; −0,014; +0,101; −0,021; +0,023; +0,003; −0,068; −0,037; −0,033; −0,023; +0,041; +0,061; +0,053; +0,008; −0,011; +0,027; +0,010; +0,025; −0,021; +0,079; +0,095; +0,030
  • 4. Juli → 9. Juli, 5 Tage, 43 Zellen, Median −0,012, Werte: −0,113; +0,040; −0,012; +0,018; +0,066; −0,107; −0,091; −0,011; −0,036; +0,038; +0,031; −0,094; +0,010; −0,030; +0,025; −0,024; +0,083; −0,144; +0,053; −0,075; −0,073; −0,018; −0,015; +0,093; −0,035; −0,026; +0,011; −0,112; −0,034; −0,034; −0,058; −0,011; +0,090; +0,048; +0,038; −0,042; −0,004; −0,014; +0,026; −0,028; +0,060; +0,027; +0,048
  • 11. Aug. → 25. Aug., 14 Tage, 81 Zellen, Median −0,005, Werte: −0,082; −0,030; −0,165; +0,002; −0,043; −0,059; −0,030; +0,054; +0,191; +0,246; +0,037; −0,053; −0,180; +0,004; −0,022; −0,033; −0,075; −0,083; −0,163; +0,010; −0,463; −0,081; −0,081; −0,005; −0,371; −0,072; −0,011; −0,105; −0,046; +0,022; +0,058; +0,034; +0,032; +0,016; +0,047; +0,057; +0,015; +0,032; +0,144; −0,036; +0,009; −0,025; +0,051; −0,011; +0,013; +0,006; −0,299; −0,098; +0,074; +0,000; +0,024; +0,167; +0,129; +0,095; +0,104; +0,024; −0,029; +0,064; −0,131; +0,005; +0,013; +0,028; −0,040; −0,108; +0,040; −0,120; −0,011; −0,085; −0,019; −0,017; −0,059; +0,004; +0,055; −0,096; +0,005; −0,061; +0,046; −0,034; +0,018; −0,098; +0,039
  • 10. Aug. → 25. Aug., 15 Tage, 81 Zellen, Median −0,021, Werte: −0,080; −0,016; −0,137; −0,020; −0,027; −0,071; +0,113; +0,056; −0,053; +0,287; +0,019; −0,010; −0,171; +0,019; −0,038; −0,048; −0,140; −0,056; −0,166; −0,061; −0,459; −0,058; −0,084; +0,010; −0,373; −0,040; +0,026; −0,100; +0,032; +0,012; +0,039; +0,048; +0,043; −0,021; +0,216; −0,112; −0,060; −0,042; +0,095; −0,011; +0,034; −0,046; −0,022; −0,005; +0,026; +0,026; −0,309; −0,118; +0,096; −0,026; +0,020; +0,003; +0,124; +0,070; −0,021; +0,023; −0,030; −0,011; −0,095; +0,019; −0,010; +0,015; −0,056; −0,149; +0,000; −0,115; +0,012; −0,085; −0,031; −0,075; −0,028; +0,038; −0,007; −0,066; +0,017; −0,039; +0,022; −0,030; +0,035; −0,117; +0,011
  • 9. Juli → 10. Aug., 32 Tage, 55 Zellen, Median −0,041, Werte: −0,037; −0,025; −0,032; −0,040; −0,069; −0,015; −0,026; −0,108; +0,021; −0,070; −0,110; −0,112; −0,158; −0,193; −0,019; −0,376; −0,186; −0,026; −0,289; −0,013; −0,123; −0,041; −0,047; −0,054; −0,258; −0,235; −0,041; −0,070; −0,032; −0,049; +0,011; −0,003; −0,101; −0,047; −0,046; +0,083; −0,033; −0,002; −0,037; +0,019; −0,024; −0,035; −0,138; +0,003; −0,053; +0,151; +0,013; +0,013; −0,042; −0,042; −0,230; +0,046; +0,018; −0,084; −0,117
  • 9. Juli → 11. Aug., 33 Tage, 55 Zellen, Median −0,033, Werte: −0,044; −0,045; −0,064; +0,039; −0,021; −0,008; −0,027; −0,121; −0,028; −0,082; −0,130; −0,113; −0,073; −0,192; +0,134; −0,377; −0,181; +0,057; −0,263; −0,035; −0,138; −0,023; −0,032; −0,050; −0,226; −0,230; −0,080; −0,072; −0,016; −0,069; +0,085; −0,004; −0,117; −0,054; −0,032; +0,092; −0,030; −0,002; −0,029; +0,033; −0,017; −0,033; −0,123; +0,005; −0,020; +0,115; +0,010; +0,012; +0,052; −0,048; −0,217; +0,032; +0,039; −0,060; −0,068
  • 5. Juli → 10. Aug., 36 Tage, 61 Zellen, Median −0,046, Werte: −0,076; −0,029; −0,007; −0,122; −0,148; −0,086; −0,047; −0,034; −0,166; +0,025; +0,032; −0,030; −0,008; −0,092; −0,123; −0,104; −0,173; −0,291; −0,043; +0,002; −0,175; −0,172; −0,065; −0,205; −0,359; −0,046; −0,069; −0,004; −0,049; −0,046; −0,017; −0,114; −0,052; −0,056; −0,188; −0,005; −0,204; −0,075; −0,044; −0,033; −0,038; −0,021; −0,035; +0,028; −0,026; −0,122; −0,006; −0,043; −0,047; −0,027; +0,022; −0,017; −0,006; −0,055; −0,046; −0,136; −0,020; +0,002; +0,047; −0,014; −0,018
  • 4. Juli → 10. Aug., 37 Tage, 45 Zellen, Median −0,026, Werte: −0,145; +0,200; −0,030; −0,107; +0,075; −0,103; −0,102; −0,157; −0,155; −0,045; −0,072; +0,069; −0,019; −0,026; −0,075; −0,106; −0,016; −0,056; −0,144; +0,019; −0,221; −0,055; −0,004; +0,004; +0,003; +0,016; −0,004; −0,022; −0,012; −0,106; −0,007; −0,038; −0,099; −0,015; −0,004; −0,008; +0,048; −0,036; −0,075; −0,142; −0,042; +0,001; +0,043; +0,039; +0,011
  • 5. Juli → 11. Aug., 37 Tage, 16 Zellen, Median −0,078, Werte: −0,096; −0,044; +0,008; −0,115; −0,165; −0,039; −0,060; +0,062; −0,274; +0,058; −0,032; −0,211; −0,190; +0,103; −0,180; −0,360
  • 4. Juli → 11. Aug., 38 Tage, 45 Zellen, Median −0,032, Werte: −0,074; +0,144; −0,019; −0,149; +0,033; −0,089; −0,030; −0,168; −0,077; −0,075; −0,068; +0,034; +0,000; −0,046; −0,045; −0,134; −0,037; −0,065; −0,167; +0,016; −0,231; −0,060; −0,055; −0,013; −0,007; −0,009; −0,034; −0,027; −0,021; −0,118; −0,011; −0,016; −0,082; −0,004; −0,007; −0,024; +0,101; −0,003; −0,050; −0,126; −0,018; −0,032; +0,016; +0,034; −0,034
  • 9. Juli → 25. Aug., 47 Tage, 50 Zellen, Median −0,045, Werte: −0,044; −0,129; +0,000; −0,054; −0,003; +0,009; −0,091; −0,045; −0,087; −0,103; −0,058; −0,097; −0,252; −0,034; −0,427; −0,179; −0,005; −0,410; −0,028; −0,134; −0,021; +0,025; −0,036; −0,241; −0,233; −0,059; −0,090; −0,014; −0,064; −0,014; −0,153; −0,040; −0,036; −0,036; +0,028; −0,037; +0,019; −0,065; −0,178; −0,020; −0,039; −0,015; +0,014; +0,013; −0,074; −0,187; +0,117; +0,034; −0,065; −0,155
  • 5. Juli → 25. Aug., 51 Tage, 56 Zellen, Median −0,064, Werte: −0,086; −0,077; −0,177; −0,149; +0,039; −0,056; −0,171; +0,074; −0,098; −0,178; −0,011; −0,090; −0,103; −0,072; −0,079; −0,082; −0,293; −0,058; −0,459; −0,166; −0,063; −0,459; −0,058; −0,123; −0,050; −0,118; −0,037; +0,001; −0,046; −0,116; −0,066; −0,271; −0,219; −0,047; +0,001; −0,078; −0,013; −0,086; −0,039; −0,040; −0,033; −0,116; −0,146; +0,003; −0,054; −0,027; +0,039; −0,025; −0,004; −0,057; −0,170; −0,054; −0,011; −0,027; −0,126; −0,006
  • 4. Juli → 25. Aug., 52 Tage, 44 Zellen, Median −0,048, Werte: −0,111; +0,155; −0,123; −0,188; −0,015; −0,129; −0,095; −0,033; −0,093; −0,077; −0,038; −0,123; +0,006; −0,130; −0,048; −0,046; −0,025; −0,144; −0,080; −0,195; −0,235; −0,052; −0,005; −0,057; −0,027; −0,099; −0,025; −0,017; −0,030; −0,125; −0,131; −0,002; −0,043; −0,001; +0,036; −0,048; +0,019; −0,047; −0,166; −0,057; −0,025; −0,022; −0,138; −0,027

Das war das Stärkste auf dieser Seite, und bis zum 3. September 2026 war es das am wenigsten Prüfbare darauf. Die Zellen-CSV enthält ein Wellenpaar je Zelle, der Vergleich ließ sich also nicht aus ihr nachrechnen, und die Regel, nach der ein längerer Abstand einem kürzeren gegenübergestellt wird, stand in keiner veröffentlichten Datei. Jetzt ist sie veröffentlicht: Eine dritte Datei enthält alle 957 Wellenpaare, und die Regel samt ihrer Regel bei Gleichstand steht in der README-Datei des Datensatzes. Die Punktschätzung und die beiden Zählungen lassen sich daraus exakt nachrechnen. Das Intervall weiterhin nicht, weil der Code für das Resampling nicht veröffentlicht ist.

Und die Veröffentlichung der Regel zeigte, wie groß die Mehrdeutigkeit ist. Eine Zelle kann zwei Wellenpaare mit demselben Abstand in Tagen enthalten, und 37 der 108 Zellen tun das; welches Paar als das kürzeste oder das längste gilt, ist also eine Wahl. Unter fünf vertretbaren Arten, sie zu treffen, reicht der Median von −0,042 bis −0,066 und die Zählung von 83 bis 93 von 108. Die Richtung bleibt unter jeder von ihnen erhalten. Die Punktschätzung nicht. Die veröffentlichte Zahl ist die zweitvorsichtigste der fünf, und das ist erwähnenswert, weil das Gegenteil ein Befund gewesen wäre. Lesen Sie −0,047 als einen vertretbaren Punkt innerhalb dieser Spanne.

Diese 108 Zellen sind nicht die 103 und auch keine Teilmenge der 111. Die Datei der Wellenpaare umfasst 123 Zellen, denn eine Zelle, die wegen einer geänderten Frage aus dem Wiederholbarkeitstest fiel, kann trotzdem Wellenpaare mit identischem Fragetext enthalten, und nur diese Paare stehen in der Datei. Fünfzehn der 123 haben nur einen einzigen Abstand und fallen heraus; übrig bleiben 108, von denen 100 zu den 111 gehören und 8 nicht. Beschränkt auf die 100 ist der Median −0,042, und 79 von 100 sind sich beim längeren Abstand weniger ähnlich. Das ist dieselbe Richtung und das Ende der Spanne oben, das näher an null liegt.

Und zwei der 108 gehören nicht hinein. Bei B3 und B4 auf chatgpt vergleicht die Zeile mit dem kürzesten Abstand zwei Antworten auf die Frage in ihrer ersten Fassung, die Zeile mit dem längsten Abstand zwei Antworten auf die berichtigte Frage. Jede Zeile ist in sich stimmig, deshalb ließ die Paarungsregel sie zu, aber die Statistik zieht dann eine Frage von einer anderen ab, und „gleiche Frage, gleiches KI-System“ trifft auf diese beiden Zellen nicht zu. Lässt man beide weg, ergibt sich −0,046 über 106, mit 85 weniger ähnlichen beim längeren Abstand und 21 ähnlicheren. Die veröffentlichte Zahl übersteht das. Der Satz oben, der einmal auch einen Effekt der Zusammensetzung der Fragen ausschloss, überstand es nicht und schließt jetzt nur noch einen Effekt der Zusammensetzung der KI-Systeme aus. Gefunden am 3. September 2026 beim Nachrechnen des Tests aus der Datei statt beim Ablesen seiner Zählung aus der Zusammenfassung.

Ein Drittel der Niveaus beruht auf einem einzigen Paar. Das wurde am 31. August 2026 bei der Prüfung von etwas anderem gefunden, und anders als die drei oben spricht es nicht zu Ihren Gunsten.

Ein Niveau ist der Median über die Paare innerhalb einer Welle einer Zelle. Achtunddreißig der 103 Zellen haben genau ein solches Paar, und der Median über eine einzige Zahl ist diese Zahl. Weiter gefasst beziehen 60 der 103 ihr Niveau aus nur einer Welle, weil die andere Welle einen einzigen Durchlauf beitrug und ein einzelner Durchlauf überhaupt kein Paar ergibt. Der Median über alle Zellen liegt bei zwei Paaren.

Das Hauptergebnis, aufgeteilt danach, wie das Niveau gemessen wurde.
ZellenAnzahlAbgewichenMedian der Differenz
Niveau aus nur einer Welle6052, 86,7 Prozent−0,086
Niveau aus beiden Wellen4333, 76,7 Prozent−0,032
Alle Zellen, wie oben berichtet10385, 82,5 Prozent−0,065

Bei der besser gemessenen Teilmenge ist der Effekt um etwa sechs Prozentpunkte kleiner und der Median der Differenz halb so groß. Das Hauptergebnis reagiert also auf dünne Niveaus, und zwar in der Richtung, die es anhebt. Der Anteil bei dieser Teilmenge der 103 ist 76,7 Prozent und hat seine eigene Unsicherheit; er steht neben dem Hauptergebnis und ist nicht das pessimistische Ende einer Spanne. Die Regel für die Aufteilung, damit sie geprüft statt übernommen werden kann: Eine Zelle gilt als in beiden Wellen gemessen, wenn draws_early und draws_late jeweils mindestens 2 sind. Niveaus aus einem einzigen Paar erkennt man an einer dritten Spalte: within_pairs gleich 1.

An dieser Schwäche setzt die nächste Studie an. Drei Durchläufe je Formulierung und KI-System sind in ihrer Registrierung vor jeder Erfassung festgelegt, sodass keine Zelle darin ein Niveau aus nur einem Paar haben kann. Das repariert dieses Ergebnis nicht; es heißt, dass die nächste Studie den Absatz, den Sie gerade lesen, nicht brauchen wird.

6 · Wie Sie es selbst prüfen können

Beide CSV-Dateien unten enthalten jede Zeile, keine Auswahl. Die Zellen-CSV hat eine Zeile je vergleichbarer Zelle mit ihren beiden Wellen, deren Datumsangaben, dem Abstand in Tagen, den Zahlen der Durchläufe, den Zahlen der Paare, der Zahl der wegen beidseitiger Leere verworfenen Paare, dem Niveau, der Ähnlichkeit zwischen den Wellen, der Differenz und dem Kennzeichen, das diese Seite zählt. Die CSV der Wellenpaare, hinzugefügt am 3. September 2026, hat eine Zeile je Wellenpaar statt je Zelle, und genau das braucht der Test innerhalb der Zelle; die Zellen-CSV kann es nicht liefern. Die Zusammenfassung enthält die Verteilungen, die Startwerte, die Zahlen der Stichproben und die Gründe für Ausschlüsse.

6 DateienCC BY 4.0 · 273 KB · mit Prüfsumme

floor-test-cells-08284347.csv

eine Zeile je Zelle (Frage × KI-System)

Größe
13 KB
Inhalt
111 Zeilen
sha256
691a5a7c59fcb3644806b2ec81610dca5c588a841f859c3fc057baf46c8f018b
floor-test-gap-pairs-08284347.csv

eine Zeile je Wellenpaar, genau das, was der Test innerhalb der Zelle braucht

Größe
81 KB
Inhalt
957 Zeilen
sha256
909fc37cbbc49c4fa1198b4af5c89f30e01c8cd5072a894e4a6d390d52e3bd2c
floor-test-summary-08284347.json

die aggregierten Zahlen, mit jedem Startwert und jeder Stichprobenzahl

Größe
11 KB
Inhalt
24 Schlüssel auf oberster Ebene
sha256
cf21d8a97360246bd52f9cfc6a8be5f00f9d7b7e08e0592a91c97856c1d5394b
codebook-08284347.json

das Codebuch: jede Spalte beider CSV-Dateien mit Typ, Einheit, Bedeutung in den Worten der README-Datei und erlaubten Werten

Größe
17 KB
Inhalt
beide CSV-Dateien, Spalte für Spalte
sha256
213319658a1160eae8cf6e6eeb4c4263eb9110041aa3b94b8c4d1d863bd104bf
floor-test-cells-08284347.sav

dieselbe Tabelle für SPSS, aus der CSV erzeugt

Größe
24 KB
Inhalt
111 Zeilen
sha256
93104056662993a38b6ffa9fd5607684711e4eb139fc8c2becfc61b351b9be0f
floor-test-gap-pairs-08284347.sav

dieselbe Tabelle für SPSS, aus der CSV erzeugt

Größe
125 KB
Inhalt
957 Zeilen
sha256
60bcac157701d299db2b7480c6632b5bb3e491960901da3e4f90f20df94d47bf

Sie dürfen sie weiterverwenden; eine Namensnennung ist erforderlich, und eine fertige Zeile zum Einfügen steht in README.md, die auch die Spaltendefinitionen, die Ähnlichkeitsfunktion, den Schlüssel zur Deduplizierung und die Paarungsregel innerhalb der Zelle enthält. Das Codebuch beschreibt die beiden CSV-Dateien Spalte für Spalte, und jede .sav-Datei ist dieselbe Tabelle für SPSS, aus ihrer CSV erzeugt; keine von ihnen fügt eine Zahl hinzu. Die drei Datendateien haben nicht dasselbe Gewicht. Zahlen lassen sich aus den beiden CSV-Dateien nachrechnen: Vierzehn der hier genannten wurden am 1. September 2026 aus der Zellendatei neu abgeleitet, und alle vierzehn stimmten; der Abstandstest innerhalb der Zelle wurde am 3. September aus der Datei der Wellenpaare neu abgeleitet. Die Zusammenfassung nennt den Rest, ohne ihren Rechenweg zu zeigen, und sechs Dinge sind aus ihr abgelesen statt gegen sie geprüft: die Permutationsverteilung, die Abdeckungsprüfung über zwölf Zellen, die beiden per Bootstrap berechneten Intervalle, die Zahl der ausgeschlossenen Zellen, wie viele Datensätze zu Zellen zusammengefasst wurden und wie viele Durchläufe verworfen wurden, weil das KI-System keine Antwort lieferte. Die Zählungen des Prüfwerkzeugs stammen aus dem Archiv, das nicht veröffentlicht ist. Diese Seite ordnet jede dieser Zahlen einzeln zu, und das Änderungsprotokoll verzeichnet die Korrekturen.

Sechs Familien von Zahlen lassen sich aus den veröffentlichten Dateien nachrechnen, und jede von ihnen wurde nachgerechnet statt behauptet: die ersten fünf am 1. September 2026, vierzehn einzelne Zahlen, alle übereinstimmend, und die sechste am 3. September, als die Datei veröffentlicht wurde, die sie braucht. Zwei der Rechenwege unten waren früher zu ungenau, um ihnen zu folgen; deshalb stehen sie jetzt vollständig da. Die ersten fünf gelten für die 103 Zellen mit Niveau, nicht für alle 111 Zeilen, und allein davon hängt ab, ob man die Abstandstabelle unten erhält oder eine andere. Die sechste gilt für keine der beiden: Sie läuft über eine dritte Population, die bei ihr genannt ist.

  1. Das Hauptergebnis. Summe von text_moved_beyond_noise: 85 von 103.
  2. Die Abstandstabelle. gap_days bei 14 und 40 in Bänder teilen, über die 103. ⚠ Über alle 111 Zeilen fallen zwei der drei Bänder anders aus: 28 von 40 und 49 von 59 statt 28 von 35 und 49 von 56. Korrigiert am 1. September 2026.
  3. Die Zählungen der Unterschreitung. delta_text für die 85 abgewichenen Zellen nehmen: 6 höchstens 0,01, 15 höchstens 0,02, Median 0,084, größter Wert 0,408.
  4. Die Aufteilung nach dünnen Niveaus. Das Niveau einer Zelle stammt aus beiden Wellen, wenn draws_early und draws_late jeweils mindestens 2 sind. Von den 43 solchen Zellen sind 33 abgewichen; von den übrigen 60 sind es 52.
  5. Die Quartilstabelle. Die 103 nach noise_sim_text sortieren und in Rangviertel von 26, 26, 25 und 26 teilen. Die Spalte stattdessen an ihren eigenen Quartilen zu teilen, legt keine Antwort fest: Zwei andere Konventionen ergeben 88,5 und 100,0 für die oberen beiden Bänder oder 84,0 und 92,3 für die mittleren beiden. Und eine Einteilung an den drei Quartilswerten aus Abschnitt 2 reproduziert die Anteile der Rangviertel nicht: Sie ergibt stattdessen die nach Wert eingeteilten Anteile aus Abschnitt 5, weil diese Werte die Quartile der Spalte sind und nicht die Trenngrenzen zwischen den Vierteln. Die README-Datei des Datensatzes enthält die Regel jetzt. Korrigiert am 1. September 2026.
  6. Der Abstandstest innerhalb der Zelle. Aus der CSV der Wellenpaare, nicht aus der Zellen-CSV. Die 957 Zeilen nach intent_id und engine gruppieren, in Dateireihenfolge. Eine Zelle mit weniger als zwei Zeilen verwerfen, ebenso eine Zelle, deren Zeilen alle denselben gap_days haben. Die 957 Zeilen umfassen 123 Zellen statt der 111, weil eine Zelle, die der Wiederholbarkeitstest wegen einer geänderten Frage ausschloss, trotzdem Paare mit identischem Fragetext hat; 15 fallen heraus, weil sie nur einen einzigen Abstand haben, und 108 bleiben, von denen 8 außerhalb der 111 liegen. In jeder der übrigen 108 die Zeile mit dem kleinsten gap_days und die mit dem größten nehmen, bei Gleichstand die erste solche Zeile in Dateireihenfolge. Die Statistik ist across_wave_sim_text des größeren Abstands minus die des kleineren, auf vier Stellen gerundet. Median −0,0465, mit 87 negativen und 21 positiven Werten. ⚠ Die Regel bei Gleichstand ist keine Nebensache: 37 der 108 Zellen haben einen Gleichstand, und die vier anderen vertretbaren Regeln ergeben Mediane von −0,042 bis −0,066.

Sechs lassen sich nicht nachrechnen. Die Permutationsverteilung braucht die Ähnlichkeitsmatrix, die nicht veröffentlicht ist. Die Abdeckungsprüfung über zwölf Zellen braucht die registrierten Zahlen der Durchläufe, die in der Laufkonfiguration stehen. Beide per Bootstrap berechneten Intervalle sind mit ihrem Startwert und der Zahl ihrer Stichproben angegeben, aber nicht mit dem Code für das Resampling; man kann ihnen also glauben, sie aber nicht wiederholen. Und die Zahl von zwölf ausgeschlossenen Zellen steht in der Zusammenfassung und in keiner der beiden CSV-Dateien, die zusammen 111 und 957 Zeilen enthalten und keine Ausschlusszahl. Ebenso die Zahl der zu Zellen zusammengefassten Datensätze und die Zahl der Durchläufe, die verworfen wurden, weil das KI-System keine Antwort lieferte: Die Zusammenfassung nennt sie, keine der beiden CSV-Dateien enthält sie. Diese sechs sind aus der Zusammenfassung abgelesen statt gegen sie geprüft, und das ist schwächer als der Rest dieses Abschnitts. Korrigiert am 3. September 2026.

Wo die CSV und diese Seite sich in etwas widersprechen, das die CSV abdeckt, hat die Datei recht und die Seite unrecht.

Was sich aus den Dateien nicht nachrechnen lässt, ist das Archiv hinter ihnen. Die Antworten, die Screenshots und die Hashwerte sind nicht veröffentlicht, und die Analysewerkzeuge werden zurückgehalten, bis sich ein Export erstellen lässt, der nur diesen Lauf enthält, denn das Archiv, das sie lesen, enthält auch Läufe über die Marken anderer Unternehmen, die zu veröffentlichen mir nicht zusteht. Die prüfbare Aussage hier ist also enger gefasst als die Aussage, die sich zu machen lohnen würde, und für das Schließen dieser Lücke gibt es kein Datum.

Ob es beim ersten Mal so herauskam, können die Zahlen oben nicht zeigen; die Seite „Wie sich das Ergebnis verändert hat“ zeichnet den Weg nach, den sie auslassen. Das Änderungsprotokoll wird auf Englisch geführt.

Zuletzt überarbeitet am 31. Oktober 2026.