Ich baue Messinstrumente und halte fest, wo sie versagen.

1 · Veränderung, gemessen am eigenen Wiederholbarkeitsniveau jeder Zelle

KI-Systeme antworten nicht deterministisch. Stellt man dieselbe Frage zweimal in derselben Sitzung, fällt die Antwort schon anders formuliert aus; ein einfacher Vorher-nachher-Vergleich kann Veränderung deshalb nicht von Rauschen trennen. Der WiederholbarkeitstestErklärung: Wiederholbarkeitstest Hier gemeint: der Test, um den es auf dieser Seite geht. Für jede Zelle wird die Ähnlichkeit zwischen den Wellen an ihrem eigenen Wiederholbarkeitsniveau gemessen. schließen trennt einen Unterschied zwischen SitzungenErklärung: Sitzung Hier gemeint: ein zusammenhängender Erfassungstermin. In diesem Archiv bestand jede Welle aus genau einer Sitzung. Ob ein Unterschied von der verstrichenen Zeit oder von der Sitzung herrührt, lässt sich deshalb nicht sagen. schließen vom Rauschen innerhalb einer Sitzung; ob dieser Unterschied eine Veränderung über die Zeit ist, kann er nicht sagen. Innerhalb einer Welle wird dieselbe Frage demselben KI-System mehrmals gestellt, und die Ähnlichkeit zwischen diesen wiederholten Antworten ist das WiederholbarkeitsniveauErklärung: Wiederholbarkeitsniveau Hier gemeint: wie ähnlich sich die Antworten eines KI-Systems auf dieselbe Frage innerhalb einer Welle sind, ausgedrückt als Median ihrer paarweisen Ähnlichkeiten. Jede Zelle wird an ihrem eigenen Wiederholbarkeitsniveau gemessen. schließen der Zelle (englisch noise floor): wie ähnlich sich zwei Antworten innerhalb einer Welle sind. Zwischen den Wellen wird dieselbe Zelle erneut gemessen. Eine Zelle gilt nur dann als abgewichenErklärung: abgewichen Hier gemeint: Eine Zelle gilt als abgewichen, wenn ihre Ähnlichkeit zwischen den Wellen strikt unter ihrem eigenen Wiederholbarkeitsniveau liegt. Das zeigt, dass sich die Antworten stärker unterscheiden, als sich durch Rauschen allein erklären ließe, nicht aber, warum. schließen, wenn ihre Ähnlichkeit zwischen den Wellen striktGrund: Eine Zelle gilt nur dann als abgewichen, wenn ihre Antworten zwischen den Wellen weniger ähnlich sind als ihre wiederholten Antworten, nicht schon, wenn sie genau gleich ähnlich sind; die Permutationsverteilung, die zeigt, was der Zufall allein ergibt, folgt derselben Regel, sodass beide gleich behandelt werden. In diesen Daten liegt keine Zelle genau auf ihrem Wiederholbarkeitsniveau, die Regel ändert hier also nichts. Gewählt mit der Analyse, geschrieben am 22. August 2026, als sechs der sieben Wellen schon erfasst waren. Erläutert am 30. Oktober 2026. schließen unter ihrem eigenen Niveau liegt. Maßstab ist das eigene Niveau, keine gemeinsame SchwelleWarum: Die Wiederholbarkeitsniveaus reichen von 0,036 bis 0,600. Diese Spanne ist größer als die meisten Unterschiede, die an ihnen gemessen werden. Quelle: die Abbildung auf dieser Seite und die Studienseite, 31. August 2026. schließen. Die PermutationsverteilungGrund: Mit nur wenigen Antworten je Zelle fielen manche Zellen schon durch Zufall unter ihr Wiederholbarkeitsniveau, die bloße Zahl abgewichener Zellen sagt daher wenig. Werden die Antworten zufällig auf die Wellen verteilt, zeigt sich, was der Zufall ergibt: 40,9 Prozent der Zellen, gegenüber den beobachteten 85 von 103 (82,5 Prozent). Gewählt mit der Analyse, geschrieben am 22. August 2026, als sechs der sieben Wellen schon erfasst waren. Erläutert am 30. Oktober 2026. schließen, gegen die die Zählung gestellt wird, ist ein eigener Schritt und nicht Teil des Tests. Die Zusammenfassungsdatei hält selbst fest, was diese Verteilung nicht zeigen kann: „In this archive a wave IS a sitting, so a rejection cannot separate drift over elapsed time from answers taken in one sitting resembling each other.“ (Sinngemäß: In diesem Archiv ist eine Welle eine Sitzung; eine Ablehnung der Nullhypothese kann deshalb DriftErklärung: Drift Hier gemeint: Veränderung der Antworten mit der verstrichenen Zeit, im Gegensatz zu Unterschieden zwischen Sitzungen. In diesem Archiv lässt sich das eine nicht vom anderen trennen. schließen über die verstrichene Zeit nicht davon trennen, dass sich Antworten aus derselben Sitzung ähneln.)

Von den 103Zellen mit genug wiederholten Antworten innerhalb einer Sitzung, um zu messen, wie stark ihre Antworten von allein schwanken: ihr Wiederholbarkeitsniveau.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: die Zeilen zählen, in denen noise_sim_text nicht leer ist. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.cellsWithFloor schließen Zellen (Frage × KI-System)Erklärung: Zelle (Frage × KI-System) Hier gemeint: die Kombination aus einer Frage und einem KI-System. Der Median der Ähnlichkeiten zwischen ihren wiederholten Antworten innerhalb einer Welle ist ihr eigenes Wiederholbarkeitsniveau; zwischen den Wellen wird dieselbe Zelle erneut gemessen. schließen mit messbarem Wiederholbarkeitsniveau sind 85Zellen, deren Antworten sich zwischen den Wellen stärker unterscheiden, als sie innerhalb einer Sitzung von allein schwanken.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: text_moved_beyond_noise über die Zeilen mit Wiederholbarkeitsniveau aufsummieren. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.moved schließen unter ihr eigenes Niveau gefallen, gelten also als abgewichen. Zwei besser gemessene TeilmengenWarum: Ein Drittel der Wiederholbarkeitsniveaus beruht auf einem einzigen Wiederholungspaar. Quelle: diese Seite, 17. September 2026. schließen dieser 103Zellen mit genug wiederholten Antworten innerhalb einer Sitzung, um zu messen, wie stark ihre Antworten von allein schwanken: ihr Wiederholbarkeitsniveau.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: die Zeilen zählen, in denen noise_sim_text nicht leer ist. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.cellsWithFloor schließen ergänzen diese Zählung, statt eine Spanne um sie zu bilden: 33Von den Zellen, deren Wiederholbarkeitsniveau aus beiden Wellen stammt, diejenigen, die als abgewichen gelten.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: die Zeilen nehmen, in denen draws_early und draws_late jeweils mindestens 2 sind, und text_moved_beyond_noise aufsummieren. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.bothWavesMoved schließen der 43Zellen, deren Wiederholbarkeitsniveau aus der früheren und der späteren Welle stammt, mit mindestens zwei Antworten in jeder.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: die Zeilen zählen, in denen draws_early und draws_late jeweils mindestens 2 sind. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.bothWaves schließen Zellen, deren Niveau in beiden Wellen gemessen ist, und 52Von den Zellen mit mindestens zwei Wiederholungspaaren diejenigen, die als abgewichen gelten.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: die Zeilen nehmen, in denen within_pairs mindestens 2 ist, und text_moved_beyond_noise aufsummieren. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.twoPairMoved schließen der 65Zellen, deren Wiederholbarkeitsniveau auf mindestens zwei Wiederholungspaaren beruht und damit weniger von einem Einzelfall abhängt.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: die Zeilen zählen, in denen within_pairs mindestens 2 ist. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.twoPairFloors schließen, deren Niveau auf mindestens zwei WiederholungspaarenErklärung: Wiederholungspaar Hier gemeint: zwei Antworten desselben KI-Systems auf dieselbe Frage in derselben Welle. Ein Wiederholbarkeitsniveau ist der Median der Ähnlichkeiten aller Wiederholungspaare einer Zelle. schließen beruht.

Alles wurde mit einem einzigen Browser-Messinstrument über ein einziges Konto erfasst. Der Erfassungsmodus war je KI-System festgelegt und in allen sieben Wellen unverändert; das Archiv belegt das, also war er kontrolliert. Im ganzen Archiv gibt es eine dokumentierte Ausnahme, mistral am 15. Juli 2026, und 768Zeilen im gesamten Erfassungsarchiv, die keinen Erfassungsmodus tragen.Nicht nachprüfbar. Der Wert stammt aus meinem Erfassungsarchiv, das nicht veröffentlicht ist. ARCHIVE.rowsWithoutMode schließen Zeilen tragen gar keinen Modus. Ob dabei ein Konto angemeldet war, wurde nie aufgezeichnet und lässt sich nicht aus dem Modus ablesen; der Anmeldestatus war also nicht kontrolliert und kann zwischen den Wellen geschwankt haben. Er steckt damit in der Ähnlichkeit zwischen den Wellen, wo eine Störvariable dieser Art, wenn sie überhaupt wirkt, den Anteil der abgewichenen Zellen nur nach oben treiben kann, nicht nach unten.

3 · Die Zählungen

Die Wellen liegen an drei Zeitpunkten: Anfang Juli, Mitte August und Ende August. Innerhalb einer einzelnen Zelle, gleiche Frage und gleiches KI-System, ist die Ähnlichkeit zur früheren Antwort beim längeren Abstand um 0,047Innerhalb einer Zelle: um wie viel weniger ähnlich die Antwort beim längeren Abstand ist als beim kürzeren. Der typische Unterschied (Median), auf der Skala von 0 bis 1.Lässt sich nachrechnen. Aus floor-test-gap-pairs-08284347.csv: in jeder dieser Zellen across_wave_sim_text beim längsten gap_days minus den Wert beim kürzesten nehmen (bei Gleichstand die erste Zeile in Dateireihenfolge), auf vier Stellen gerundet; der Median über die Zellen beträgt auf vier Stellen −0,0465 und wird dann auf drei Stellen gerundet. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.withinCellMedian schließen geringer als beim kürzeren, und 87Zellen, in denen die Antwort beim längeren Abstand weniger ähnlich ist als beim kürzeren.Lässt sich nachrechnen. Aus floor-test-gap-pairs-08284347.csv: von diesen Unterschieden die negativen zählen. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.withinCellLessAlike schließen der 108Zellen, die bei mindestens zwei verschiedenen Abständen gemessen wurden, sodass sich ein längerer mit einem kürzeren Abstand vergleichen lässt.Lässt sich nachrechnen. Aus floor-test-gap-pairs-08284347.csv: die Zeilen nach intent_id und engine gruppieren und die Gruppen zählen, in denen gap_days mindestens zwei verschiedene Werte hat. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.withinCellN schließen Zellen mit zwei verschiedenen Abständen verhalten sich so. Das ist ein Vergleich innerhalb der ZelleWarum: Vergleicht man eine Zelle nur mit sich selbst, ist der Vergleich um KI-System und Frage bereinigt. Quelle: diese Seite, 17. September 2026. schließen, also um KI-System und Frage bereinigt. Um den Zeitraum ist er nicht bereinigt. Lesen Sie das als Spanne, nicht als Punkt.Warum: Bei allen fünf vertretbaren Regeln bleibt die Richtung gleich, die Punktschätzung nicht. Quelle: die README-Datei des Datensatzes, 3. September 2026. schließen Welches der Wellenpaare einer Zelle als ihr kürzestes und ihr längstes gilt, muss gewählt werden, sobald zwei Paare denselben Abstand in Tagen haben, und bei 37Zellen, in denen zwei Wellenpaare gleich viele Tage auseinanderliegen. Welches dann als das kürzeste oder längste zählt, ist eine Wahl.Lässt sich nachrechnen. Aus floor-test-gap-pairs-08284347.csv: die Zellen zählen, in denen ein Wert von gap_days beim kürzesten oder längsten Abstand mehrfach vorkommt. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.withinCellTies schließen der 108Zellen, die bei mindestens zwei verschiedenen Abständen gemessen wurden, sodass sich ein längerer mit einem kürzeren Abstand vergleichen lässt.Lässt sich nachrechnen. Aus floor-test-gap-pairs-08284347.csv: die Zeilen nach intent_id und engine gruppieren und die Gruppen zählen, in denen gap_days mindestens zwei verschiedene Werte hat. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.withinCellN schließen ist das so. Fünf vertretbare Arten, diese Wahl zu treffen, ergeben −0,042Das mildeste Ergebnis unter fünf vertretbaren Regeln bei Gleichstand.Lässt sich nachrechnen. Aus floor-test-gap-pairs-08284347.csv: den Median innerhalb der Zellen mit jeder der fünf Regeln bei Gleichstand neu bilden, die die README-Datei des Datensatzes nennt (erste oder letzte Zeile in Dateireihenfolge, die ähnlichste oder unähnlichste der gleichauf liegenden Zeilen, ihr Mittelwert); dies ist der Median, der am nächsten an null liegt. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.tieBreakLo schließen bis −0,066Das stärkste Ergebnis unter denselben fünf Regeln bei Gleichstand.Lässt sich nachrechnen. Aus floor-test-gap-pairs-08284347.csv: dieselben fünf Mediane; dies ist der, der am weitesten von null entfernt liegt. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.tieBreakHi schließen und 83Bei allen fünf Regeln sind mindestens so viele Zellen beim längeren Abstand weniger ähnlich.Lässt sich nachrechnen. Aus floor-test-gap-pairs-08284347.csv: für jede Regel die negativen Unterschiede zählen; dies ist die kleinste der fünf Zahlen. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.tieBreakCountLo schließen bis 93Bei allen fünf Regeln sind höchstens so viele Zellen beim längeren Abstand weniger ähnlich.Lässt sich nachrechnen. Aus floor-test-gap-pairs-08284347.csv: dieselben fünf Zahlen; dies ist die größte. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.tieBreakCountHi schließen von 108Zellen, die bei mindestens zwei verschiedenen Abständen gemessen wurden, sodass sich ein längerer mit einem kürzeren Abstand vergleichen lässt.Lässt sich nachrechnen. Aus floor-test-gap-pairs-08284347.csv: die Zeilen nach intent_id und engine gruppieren und die Gruppen zählen, in denen gap_days mindestens zwei verschiedene Werte hat. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.withinCellN schließen. Die Richtung bleibt unter allen fünf erhalten, die Punktschätzung nicht, und die Spanne reicht über ein Ende des Intervalls hinaus, das unten neben ihr steht. Die Studienseite enthält die Regel, und die Datei der Wellenpaare enthält die Zeilen, um sie zu prüfen.

Vier der Zeilen unten sind mit „aus der Zusammenfassung“Erklärung: aus der Zusammenfassung Hier gemeint: aus der Zusammenfassungsdatei übernommen, nicht aus den CSV-Dateien nachgerechnet. Sie sehen den Wert, können ihn aber nicht prüfen. schließen markiertWarum: Damit Sie sehen, welche Teile aus der Zusammenfassungsdatei übernommen sind und sich nicht prüfen lassen. Quelle: diese Seite, 4. September 2026. schließen. Diese Teile sind aus der Zusammenfassungsdatei abgelesen, statt aus einer der beiden CSV-Dateien nachgerechnet; Sie sehen also, um welche es sich handelt, und können sie nicht prüfen. Alles Unmarkierte lässt sich aus den veröffentlichten Zeilen nachrechnenErklärung: lässt sich nachrechnen Hier gemeint: Wer möchte, kann den Wert aus den veröffentlichten CSV-Zeilen nachrechnen. schließen, und die Studienseite schreibt den Rechenweg aus, wo er mehr ist als das Zählen einer Spalte. Die beiden Teilmengen aus Abschnitt 1 stehen nicht unten: Die Studienseite enthält den Rechenweg für die erste, und die zweite sind die Zellen, bei denen die Spalte within_pairs der Zellen-CSV 2 oder mehr beträgt.

Wellen

7Erhebungswellen: getrennte Sitzungen, in denen die Fragen erneut gestellt wurden. Nicht jede Welle enthält jede Frage.Lässt sich nachrechnen. Aus floor-test-gap-pairs-08284347.csv: die verschiedenen Werte der Spalten wave_a und wave_b zusammen zählen. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.waves schließen2026-07-04 bis 2026-08-25, erste Erfassungen

Fragen

18Die Fragen an die KI-Systeme, alle zu demselben Unternehmen.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: die verschiedenen Werte der Spalte intent_id zählen. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.questions schließen

Verglichene Zellen

111Zellen (je eine Frage an ein KI-System), die sich zwischen den Wellen vergleichen ließen, mit oder ohne Wiederholbarkeitsniveau.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: die Zeilen zählen. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.cellsCompared schließen

Zellen mit Wiederholbarkeitsniveau

103Zellen mit genug wiederholten Antworten innerhalb einer Sitzung, um zu messen, wie stark ihre Antworten von allein schwanken: ihr Wiederholbarkeitsniveau.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: die Zeilen zählen, in denen noise_sim_text nicht leer ist. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.cellsWithFloor schließen

Ausgeschlossene Zellen, Frage geändertGrund: Zwölf Zellen sind ausgeschlossen, weil ihre Frage zwischen den Wellen umformuliert wurde; Antworten auf zwei verschiedene Fragen zu vergleichen, hätte genau die Veränderung erzeugt, nach der diese Studie sucht. Gewählt mit der Analyse, geschrieben am 22. August 2026, als sechs der sieben Wellen schon erfasst waren. Begründung festgehalten auf der Studienseite, 31. August 2026. schließen

12Zellen, die ausgeschlossen wurden, weil sich der Wortlaut der Frage zwischen den Wellen geändert hat.Aus der Zusammenfassung übernommen. Fundstelle: floor-test-summary-08284347.json, der Schlüssel cells_excluded_question_changed. Aus den veröffentlichten Zeilen lässt sich der Wert nicht nachrechnen. FROM_SUMMARY.cellsExcludedQuestionChanged schließenaus der Zusammenfassung

Ähnlichkeit innerhalb einer Welle, das Wiederholbarkeitsniveau

MedianGrund: Das Wiederholbarkeitsniveau ist der Median der Ähnlichkeiten der Wiederholungspaare einer Zelle; wo eine Zelle drei oder mehr Paare hat (42 Zellen), kann ein einzelnes ungewöhnliches Paar es nicht weit verschieben. Ein Wiederholbarkeitsniveau aus einem einzigen Paar, wie es 38 Zellen haben, ist unsicher, welches Lagemaß auch gewählt wird; deshalb weist die Seite die 65 Zellen mit mindestens zwei Paaren zusätzlich gesondert aus. Gewählt mit der Analyse, geschrieben am 22. August 2026, als sechs der sieben Wellen schon erfasst waren. Erläutert am 30. Oktober 2026. schließen 0,266Das typische Wiederholbarkeitsniveau: wie ähnlich sich zwei Antworten auf dieselbe Frage innerhalb einer Sitzung sind, von 0 (keine gemeinsamen Inhaltstokens) bis 1 (derselbe Wortlaut).Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: den Median von noise_sim_text über die Zeilen mit Wiederholbarkeitsniveau bilden, auf drei Stellen gerundet. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.noiseMedian schließenQuartile 0,200Ein Viertel der Zellen hat ein Wiederholbarkeitsniveau unter diesem Wert.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: das untere Quartil von noise_sim_text über die Zeilen mit Wiederholbarkeitsniveau bilden, nach der inklusiven Methode. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.noiseQ25 schließen und 0,321Ein Viertel der Zellen hat ein Wiederholbarkeitsniveau über diesem Wert.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: das obere Quartil von noise_sim_text über die Zeilen mit Wiederholbarkeitsniveau bilden, nach der inklusiven Methode. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.noiseQ75 schließen

Ähnlichkeit zwischen den Wellen

Median 0,183Die typische Ähnlichkeit zwischen Antworten aus verschiedenen Wellen, auf derselben Skala von 0 bis 1. Sie liegt unter dem Wiederholbarkeitsniveau: Die Antworten sind abgewichen.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: den Median von drift_sim_text über alle Zeilen bilden. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.betweenWaveMedian schließen

Median der Differenz

−0,065Die typische Veränderung: Ähnlichkeit zwischen den Wellen minus das eigene Wiederholbarkeitsniveau der Zelle. Ein negativer Wert heißt: weniger ähnlich, als Rauschen allein erklärt.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: den Median von delta_text über die Zeilen mit Wiederholbarkeitsniveau bilden. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.medianDelta schließenaus der Zusammenfassungdie Punktschätzung lässt sich nachrechnen; das 95Der Prozentwert, zu dem die Intervalle angegeben sind: für die Analyse gewählt, kein Wert, den eine veröffentlichte Datei enthält.Ein für die Analyse gewählter Wert. Kein Messwert. FROM_SUMMARY.confidenceLevelPct schließen-%-IntervallErklärung: 95-%-Intervall Hier gemeint: ein 95-%-Konfidenzintervall, per Bootstrap berechnet, wobei die Fragen vielfach neu gezogen werden. Es stammt aus der Zusammenfassungsdatei und lässt sich aus den veröffentlichten Zeilen nicht nachrechnen. schließen, −0,092Untere Grenze des Intervalls um die typische Veränderung.Aus der Zusammenfassung übernommen. Fundstelle: floor-test-summary-08284347.json, der Schlüssel delta_ci_clustered_by_question, Feld lo, auf drei Stellen gerundet. Aus den veröffentlichten Zeilen lässt sich der Wert nicht nachrechnen. FROM_SUMMARY.deltaCiLo schließen bis −0,030Obere Grenze des Intervalls um die typische Veränderung.Aus der Zusammenfassung übernommen. Fundstelle: floor-test-summary-08284347.json, der Schlüssel delta_ci_clustered_by_question, Feld hi, auf drei Stellen gerundet. Aus den veröffentlichten Zeilen lässt sich der Wert nicht nachrechnen. FROM_SUMMARY.deltaCiHi schließen, ist per Bootstrap über 18Beim Bootstrap werden ganze Fragen neu gezogen, damit Antworten auf dieselbe Frage nicht als unabhängige Belege zählen.Aus der Zusammenfassung übernommen. Fundstelle: floor-test-summary-08284347.json, der Schlüssel delta_ci_clustered_by_question, Feld n_clusters. Aus den veröffentlichten Zeilen lässt sich der Wert nicht nachrechnen. FROM_SUMMARY.questionClusters schließen Fragen-ClusterWarum: Zellen mit derselben Frage sind keine unabhängigen Beobachtungen. Ein Intervall, das sie als unabhängig behandelt, fiele schmaler aus, als die Daten es rechtfertigen. Quelle: die Studienseite, 31. August 2026. schließen berechnet, 2.000Eine Einstellung der Analyse, wie die Zusammenfassungsdatei sie angibt: wie oft die Daten für das Intervall neu gezogen wurden.Aus der Zusammenfassung übernommen. Fundstelle: floor-test-summary-08284347.json, der Schlüssel delta_ci_clustered_by_question, Feld reps. Aus den veröffentlichten Zeilen lässt sich der Wert nicht nachrechnen. FROM_SUMMARY.bootstrapReplicates schließen Bootstrap-StichprobenGrund: Die Grenzen eines Intervalls werden an den extremsten Stichproben abgelesen und brauchen daher weit mehr Stichproben als ein einzelner Schätzwert. Üblicherweise empfohlen werden tausend oder mehr; 2.000 sind das Doppelte. Gewählt mit der Analyse, geschrieben am 22. August 2026, als sechs der sieben Wellen schon erfasst waren. Erläutert am 30. Oktober 2026. schließen, StartwertGrund: Ein Startwert legt die Zufallsziehungen fest, sodass derselbe Code bei einem erneuten Lauf genau das veröffentlichte Intervall und die Vergleichszahl aus den Permutationen ergibt. Das leistet jeder feste Wert; 0 ist einfach der erste. Gewählt mit der Analyse, geschrieben am 22. August 2026, als sechs der sieben Wellen schon erfasst waren. Erläutert am 30. Oktober 2026. schließen 0Eine Einstellung der Analyse, wie die Zusammenfassungsdatei sie angibt: der Startwert des Zufallsgenerators, damit sich dasselbe Ziehen genau wiederholen lässt.Aus der Zusammenfassung übernommen. Fundstelle: floor-test-summary-08284347.json, das Feld seed in delta_ci_clustered_by_question, in permutation_null und in within_cell_gap_test.ci_clustered_by_question; alle drei enthalten denselben Wert. Aus den veröffentlichten Zeilen lässt sich der Wert nicht nachrechnen. FROM_SUMMARY.seed schließen (englisch seed), und lässt sich nicht nachrechnen

Zellen unter ihrem eigenen Niveau

85Zellen, deren Antworten sich zwischen den Wellen stärker unterscheiden, als sie innerhalb einer Sitzung von allein schwanken.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: text_moved_beyond_noise über die Zeilen mit Wiederholbarkeitsniveau aufsummieren. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.moved schließen von 103Zellen mit genug wiederholten Antworten innerhalb einer Sitzung, um zu messen, wie stark ihre Antworten von allein schwanken: ihr Wiederholbarkeitsniveau.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: die Zeilen zählen, in denen noise_sim_text nicht leer ist. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.cellsWithFloor schließenaus der Zusammenfassung40,9Wenn Zellen nur zufällig abwichen, erschiene etwa dieser Anteil als abgewichen.Aus der Zusammenfassung übernommen. Fundstelle: floor-test-summary-08284347.json, der Schlüssel permutation_null, Feld expected_pct_by_chance. Aus den veröffentlichten Zeilen lässt sich der Wert nicht nachrechnen. FROM_SUMMARY.expectedByChancePct schließen Prozent bei Zufall erwartet, Permutationsverteilung, 5.000Eine Einstellung der Analyse, wie die Zusammenfassungsdatei sie angibt: wie viele zufällige Permutationen für den Vergleich mit dem Zufall gerechnet wurden.Aus der Zusammenfassung übernommen. Fundstelle: floor-test-summary-08284347.json, der Schlüssel permutation_null, Feld replicates. Aus den veröffentlichten Zeilen lässt sich der Wert nicht nachrechnen. FROM_SUMMARY.permutationReplicates schließen PermutationenGrund: Bei 5.000 Permutationen ist der kleinste p-Wert, den der Test ausweisen kann, 1 von 5.001, etwa 0,0002, und keine Permutation erreichte die beobachtete Zahl. Deshalb nennt die Seite p nur als unterhalb des kleinsten Werts, den 5.000 Permutationen überhaupt auflösen können: eine Grenze des Tests, kein gemessener Wert; mehr Permutationen würden sie senken, ohne an Evidenz zu gewinnen. Gewählt mit der Analyse, geschrieben am 22. August 2026, als sechs der sieben Wellen schon erfasst waren. Erläutert am 30. Oktober 2026. schließen, Startwert 0Eine Einstellung der Analyse, wie die Zusammenfassungsdatei sie angibt: der Startwert des Zufallsgenerators, damit sich dasselbe Ziehen genau wiederholen lässt.Aus der Zusammenfassung übernommen. Fundstelle: floor-test-summary-08284347.json, das Feld seed in delta_ci_clustered_by_question, in permutation_null und in within_cell_gap_test.ci_clustered_by_question; alle drei enthalten denselben Wert. Aus den veröffentlichten Zeilen lässt sich der Wert nicht nachrechnen. FROM_SUMMARY.seed schließen, p unterhalb des kleinsten Werts, den 5.000Eine Einstellung der Analyse, wie die Zusammenfassungsdatei sie angibt: wie viele zufällige Permutationen für den Vergleich mit dem Zufall gerechnet wurden.Aus der Zusammenfassung übernommen. Fundstelle: floor-test-summary-08284347.json, der Schlüssel permutation_null, Feld replicates. Aus den veröffentlichten Zeilen lässt sich der Wert nicht nachrechnen. FROM_SUMMARY.permutationReplicates schließen Permutationen überhaupt auflösen können

Innerhalb einer Zelle, längerer Abstand minus kürzerer Abstand

−0,047Innerhalb einer Zelle: um wie viel weniger ähnlich die Antwort beim längeren Abstand ist als beim kürzeren. Der typische Unterschied (Median), auf der Skala von 0 bis 1.Lässt sich nachrechnen. Aus floor-test-gap-pairs-08284347.csv: in jeder dieser Zellen across_wave_sim_text beim längsten gap_days minus den Wert beim kürzesten nehmen (bei Gleichstand die erste Zeile in Dateireihenfolge), auf vier Stellen gerundet; der Median über die Zellen beträgt auf vier Stellen −0,0465 und wird dann auf drei Stellen gerundet. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.withinCellMedian schließenaus der Zusammenfassungdie Punktschätzung und beide Zählungen lassen sich nachrechnen, über 108Zellen, die bei mindestens zwei verschiedenen Abständen gemessen wurden, sodass sich ein längerer mit einem kürzeren Abstand vergleichen lässt.Lässt sich nachrechnen. Aus floor-test-gap-pairs-08284347.csv: die Zeilen nach intent_id und engine gruppieren und die Gruppen zählen, in denen gap_days mindestens zwei verschiedene Werte hat. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.withinCellN schließen Zellen, die nicht die 103Zellen mit genug wiederholten Antworten innerhalb einer Sitzung, um zu messen, wie stark ihre Antworten von allein schwanken: ihr Wiederholbarkeitsniveau.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: die Zeilen zählen, in denen noise_sim_text nicht leer ist. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.cellsWithFloor schließen sind und keine Teilmenge der 111Zellen (je eine Frage an ein KI-System), die sich zwischen den Wellen vergleichen ließen, mit oder ohne Wiederholbarkeitsniveau.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: die Zeilen zählen. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.cellsCompared schließen; das 95Der Prozentwert, zu dem die Intervalle angegeben sind: für die Analyse gewählt, kein Wert, den eine veröffentlichte Datei enthält.Ein für die Analyse gewählter Wert. Kein Messwert. FROM_SUMMARY.confidenceLevelPct schließen-%-IntervallGrund: 95 Prozent ist die übliche Wahl für ein solches Intervall, so lässt es sich mit den Intervallen anderer veröffentlichter Studien vergleichen. Die Seite stellt es neben die Schätzung, um zu zeigen, wie weit die Schätzung liegen könnte, nicht als Entscheidungsschwelle. Gewählt mit der Analyse, geschrieben am 22. August 2026, als sechs der sieben Wellen schon erfasst waren. Erläutert am 30. Oktober 2026. schließen, −0,058Untere Grenze des Intervalls um den Unterschied innerhalb der Zellen.Aus der Zusammenfassung übernommen. Fundstelle: floor-test-summary-08284347.json, der Schlüssel within_cell_gap_test, Feld ci_clustered_by_question.lo, auf drei Stellen gerundet. Aus den veröffentlichten Zeilen lässt sich der Wert nicht nachrechnen. FROM_SUMMARY.withinCellCiLo schließen bis −0,031Obere Grenze des Intervalls um den Unterschied innerhalb der Zellen.Aus der Zusammenfassung übernommen. Fundstelle: floor-test-summary-08284347.json, der Schlüssel within_cell_gap_test, Feld ci_clustered_by_question.hi, auf drei Stellen gerundet. Aus den veröffentlichten Zeilen lässt sich der Wert nicht nachrechnen. FROM_SUMMARY.withinCellCiHi schließen, nicht. 87Zellen, in denen die Antwort beim längeren Abstand weniger ähnlich ist als beim kürzeren.Lässt sich nachrechnen. Aus floor-test-gap-pairs-08284347.csv: von diesen Unterschieden die negativen zählen. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.withinCellLessAlike schließen von 108Zellen, die bei mindestens zwei verschiedenen Abständen gemessen wurden, sodass sich ein längerer mit einem kürzeren Abstand vergleichen lässt.Lässt sich nachrechnen. Aus floor-test-gap-pairs-08284347.csv: die Zeilen nach intent_id und engine gruppieren und die Gruppen zählen, in denen gap_days mindestens zwei verschiedene Werte hat. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.withinCellN schließen beim längeren Abstand weniger ähnlich, 21Zellen, in denen die Antwort beim längeren Abstand ähnlicher ist: die umgekehrte Richtung.Lässt sich nachrechnen. Aus floor-test-gap-pairs-08284347.csv: von diesen Unterschieden die positiven zählen. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.withinCellMoreAlike schließen ähnlicher, und die Spanne aus der Regel bei GleichstandErklärung: Regel bei Gleichstand Hier gemeint: welches Wellenpaar einer Zelle als das mit dem kürzesten oder längsten Abstand zählt, wenn zwei Paare gleich viele Tage auseinanderliegen. schließen reicht über ein Ende des Intervalls hinaus: −0,042Das mildeste Ergebnis unter fünf vertretbaren Regeln bei Gleichstand.Lässt sich nachrechnen. Aus floor-test-gap-pairs-08284347.csv: den Median innerhalb der Zellen mit jeder der fünf Regeln bei Gleichstand neu bilden, die die README-Datei des Datensatzes nennt (erste oder letzte Zeile in Dateireihenfolge, die ähnlichste oder unähnlichste der gleichauf liegenden Zeilen, ihr Mittelwert); dies ist der Median, der am nächsten an null liegt. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.tieBreakLo schließen bis −0,066Das stärkste Ergebnis unter denselben fünf Regeln bei Gleichstand.Lässt sich nachrechnen. Aus floor-test-gap-pairs-08284347.csv: dieselben fünf Mediane; dies ist der, der am weitesten von null entfernt liegt. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.tieBreakHi schließen und 83Bei allen fünf Regeln sind mindestens so viele Zellen beim längeren Abstand weniger ähnlich.Lässt sich nachrechnen. Aus floor-test-gap-pairs-08284347.csv: für jede Regel die negativen Unterschiede zählen; dies ist die kleinste der fünf Zahlen. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.tieBreakCountLo schließen bis 93Bei allen fünf Regeln sind höchstens so viele Zellen beim längeren Abstand weniger ähnlich.Lässt sich nachrechnen. Aus floor-test-gap-pairs-08284347.csv: dieselben fünf Zahlen; dies ist die größte. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.tieBreakCountHi schließen von 108Zellen, die bei mindestens zwei verschiedenen Abständen gemessen wurden, sodass sich ein längerer mit einem kürzeren Abstand vergleichen lässt.Lässt sich nachrechnen. Aus floor-test-gap-pairs-08284347.csv: die Zeilen nach intent_id und engine gruppieren und die Gruppen zählen, in denen gap_days mindestens zwei verschiedene Werte hat. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.withinCellN schließen

Die KI-Systeme sind ungleich vertreten. Das größte hat 18Vergleichbare Zellen dieses KI-Systems, über alle Zeilen der Zellen-Datei. Gezählt ist, was bei der Erfassung anfiel; ein Vergleich zwischen KI-Systemen ist das nicht.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: die Zeilen dieses KI-Systems zählen. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. ENGINE_CELLS.metaai schließen Zellen, das kleinste 5Vergleichbare Zellen dieses KI-Systems, über alle Zeilen der Zellen-Datei. Gezählt ist, was bei der Erfassung anfiel; ein Vergleich zwischen KI-Systemen ist das nicht.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: die Zeilen dieses KI-Systems zählen. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. ENGINE_CELLS.mistral schließen. Die Liste unten zählt alle 111Zellen (je eine Frage an ein KI-System), die sich zwischen den Wellen vergleichen ließen, mit oder ohne Wiederholbarkeitsniveau.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: die Zeilen zählen. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.cellsCompared schließen vergleichbaren Zellen, auch die 8Zellen ohne Wiederholbarkeitsniveau, weil es zu wenige wiederholte Antworten gab. Sie stehen mit dem Grund in der Datei.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: die Zeilen zählen, in denen noise_sim_text leer ist. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.cellsWithoutFloor schließen ohne Niveau, und ergibt deshalb nicht die 103Zellen mit genug wiederholten Antworten innerhalb einer Sitzung, um zu messen, wie stark ihre Antworten von allein schwanken: ihr Wiederholbarkeitsniveau.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: die Zeilen zählen, in denen noise_sim_text nicht leer ist. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.cellsWithFloor schließen, über die die Anteile oben berechnet sind. Die Studienseite führt dieselbe Liste über die 103Zellen mit genug wiederholten Antworten innerhalb einer Sitzung, um zu messen, wie stark ihre Antworten von allein schwanken: ihr Wiederholbarkeitsniveau.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: die Zeilen zählen, in denen noise_sim_text nicht leer ist. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.cellsWithFloor schließen, weshalb mistral dort keine Zeile hat und drei andere KI-Systeme je eine Zelle weniger. So oder so ist das eine Zählung dessen, was bei der Erfassung anfielWarum: Die Liste zählt alles, was bei der Erfassung anfiel, auch die 8 Zellen ohne Wiederholbarkeitsniveau; ein Vergleich zwischen KI-Systemen ist sie nicht. Quelle: diese Seite, 31. August 2026. schließen, kein Vergleich zwischen KI-Systemen.

metaai

18Vergleichbare Zellen dieses KI-Systems, über alle Zeilen der Zellen-Datei. Gezählt ist, was bei der Erfassung anfiel; ein Vergleich zwischen KI-Systemen ist das nicht.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: die Zeilen dieses KI-Systems zählen. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. ENGINE_CELLS.metaai schließen Zellen

gemini

16Vergleichbare Zellen dieses KI-Systems, über alle Zeilen der Zellen-Datei. Gezählt ist, was bei der Erfassung anfiel; ein Vergleich zwischen KI-Systemen ist das nicht.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: die Zeilen dieses KI-Systems zählen. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. ENGINE_CELLS.gemini schließen Zellen

copilot

16Vergleichbare Zellen dieses KI-Systems, über alle Zeilen der Zellen-Datei. Gezählt ist, was bei der Erfassung anfiel; ein Vergleich zwischen KI-Systemen ist das nicht.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: die Zeilen dieses KI-Systems zählen. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. ENGINE_CELLS.copilot schließen Zellen

claude

16Vergleichbare Zellen dieses KI-Systems, über alle Zeilen der Zellen-Datei. Gezählt ist, was bei der Erfassung anfiel; ein Vergleich zwischen KI-Systemen ist das nicht.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: die Zeilen dieses KI-Systems zählen. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. ENGINE_CELLS.claude schließen Zellen

chatgpt

16Vergleichbare Zellen dieses KI-Systems, über alle Zeilen der Zellen-Datei. Gezählt ist, was bei der Erfassung anfiel; ein Vergleich zwischen KI-Systemen ist das nicht.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: die Zeilen dieses KI-Systems zählen. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. ENGINE_CELLS.chatgpt schließen Zellen

perplexity

12Vergleichbare Zellen dieses KI-Systems, über alle Zeilen der Zellen-Datei. Gezählt ist, was bei der Erfassung anfiel; ein Vergleich zwischen KI-Systemen ist das nicht.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: die Zeilen dieses KI-Systems zählen. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. ENGINE_CELLS.perplexity schließen Zellen

googleai

12Vergleichbare Zellen dieses KI-Systems, über alle Zeilen der Zellen-Datei. Gezählt ist, was bei der Erfassung anfiel; ein Vergleich zwischen KI-Systemen ist das nicht.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: die Zeilen dieses KI-Systems zählen. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. ENGINE_CELLS.googleai schließen Zellen

mistral

5Vergleichbare Zellen dieses KI-Systems, über alle Zeilen der Zellen-Datei. Gezählt ist, was bei der Erfassung anfiel; ein Vergleich zwischen KI-Systemen ist das nicht.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: die Zeilen dieses KI-Systems zählen. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. ENGINE_CELLS.mistral schließen Zellen

Die Wellen, die diese Abbildung vergleicht, sind vollständig in der Studie dargestellt.

4 · Der Wiederholbarkeitstest

Ähnlichkeit ist der Jaccard-Koeffizient über Mengen von InhaltstokensGrund: Hier teilt der Jaccard-Koeffizient die Inhaltstokens, die zwei Antworten gemeinsam haben, durch alle Inhaltstokens, die eine der beiden verwendet; er misst also, wie stark sich der Wortlaut überschneidet, nicht, ob die Antworten übereinstimmen. Zwei der veröffentlichten Stabilitätsstudien auf der Studienseite geben dasselbe Überschneidungsmaß an, dort über die Domains und Quellen, die die Antworten zitieren, und es ist einfach genug, dass jeder es auf eigene Erfassungen anwenden kann. Gewählt mit der Analyse, geschrieben am 22. August 2026, als sechs der sieben Wellen schon erfasst waren. Erläutert am 30. Oktober 2026. schließen: kleingeschrieben, URLs zuerst entfernt, Tokens mit zwei oder weniger Zeichen und Stoppwörter verworfenGrund: Das sind die üblichen ersten Schritte, wenn Texte als Mengen von Wörtern verglichen werden. Ohne sie ließen Wörter, die jede Antwort enthält, etwa die englischen „the“ oder „and“, zwei Antworten ähnlicher aussehen, als sie sind. Gewählt mit der Analyse, geschrieben am 22. August 2026, als sechs der sieben Wellen schon erfasst waren. Erläutert am 30. Oktober 2026. schließen. Sind beide Mengen leer, liefert der Vergleich nichtsWarum: Wenn bei zwei Durchläufen keine Inhaltstokens übrig bleiben, ist das kein Beleg für Übereinstimmung. Quelle: die README-Datei des Datensatzes, 31. August 2026. schließen statt 1, denn zwei Durchläufe, in denen keine Inhaltstokens übrig bleiben, sind kein Beleg für Übereinstimmung; das Paar wird also verworfen, statt als vollkommene Übereinstimmung gezählt zu werden. Das Niveau einer typischen Zelle beruht auf zwei Wiederholungspaaren; die Spanne reicht von 0Die wenigsten Wiederholungspaare in einer Zeile der Zellen-Datei. Eine Zelle ohne Paar hat kein Wiederholbarkeitsniveau und wird ausgelassen.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: den kleinsten Wert von within_pairs über alle Zeilen nehmen. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.withinPairsMin schließen bis 18Die meisten Wiederholungspaare, auf denen das Wiederholbarkeitsniveau einer Zelle beruht.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: den größten Wert von within_pairs über alle Zeilen nehmen. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.withinPairsMax schließen, und eine Zelle ohne Paar hat kein Niveau und wird ausgelassenWarum: Eine Zelle ohne Wiederholungspaar hat kein Wiederholbarkeitsniveau, an dem sie gemessen werden könnte. Quelle: diese Seite, 31. August 2026. schließen.

Der Schlüssel einer Beobachtung setzt sich aus Lauf, Frage, KI-System, Durchlaufindex und einem normalisierten Zeitstempel zusammen; er wird gehasht, und alles, was kollidiert, ist eine einzige Beobachtung. Die Normalisierung gleicht nur die Formatierung an und behält jede Ziffer bis zur Millisekunde, sodass zwei Exporte einer Erfassung nicht zu zwei Beobachtungen werden, während zwei Erfassungen im Abstand einer Millisekunde zwei bleiben. Es gibt kein ToleranzfensterWarum: Damit zwei Exporte derselben Erfassung nicht als zwei Beobachtungen zählen, zwei Erfassungen im Abstand von einer Millisekunde aber sehr wohl. Quelle: die README-Datei des Datensatzes, 31. August 2026. schließen. Unter diesem Schlüssel enthielt das Archiv 9.692Beobachtungen im Erfassungsarchiv, gezählt unter einem Schlüssel zur Deduplizierung.Nicht nachprüfbar. Der Wert stammt aus meinem Erfassungsarchiv, das nicht veröffentlicht ist. ARCHIVE.observations schließen Beobachtungen aus 28Läufe, aus denen diese Beobachtungen stammen.Nicht nachprüfbar. Der Wert stammt aus meinem Erfassungsarchiv, das nicht veröffentlicht ist. ARCHIVE.observationRuns schließen Läufen, als ich es am 29. August 2026 ausgelesen habe; eine Zählung, die ich am Vortag mit einem Schlüssel aus Lauf, Datensatzkennung und Erfassungszeit gemacht habe, ergab 5.214Dieselbe Zählung einen Tag früher, mit einem anderen Schlüssel und an einem kleineren Archiv.Nicht nachprüfbar. Der Wert stammt aus meinem Erfassungsarchiv, das nicht veröffentlicht ist. ARCHIVE.priorObservations schließen aus 27Läufe in diesem kleineren Archiv.Nicht nachprüfbar. Der Wert stammt aus meinem Erfassungsarchiv, das nicht veröffentlicht ist. ARCHIVE.priorRuns schließen Läufen eines kleineren Archivs. Zwei vertretbare SchlüsselWarum: Zwei vertretbare Abgleichsschlüssel ergaben zwei verschiedene Nenner. Quelle: diese Seite, 17. Oktober 2026. schließen, zwei Nenner; deshalb steht der Schlüssel hier ausgeschrieben, statt in einer Zahl stillschweigend mitzulaufen.

Die Erfassungen stammen aus einer Chrome-Erweiterung, die ich geschrieben habe. Sie ist weder veröffentlicht noch verlinkt, aus demselben GrundWarum: Sobald ein Fragensatz veröffentlicht ist, misst er nicht mehr das, wofür er entwickelt wurde. Quelle: diese Seite, 31. August 2026. schließen wie der Fragensatz und die Stufenbeschreibungen.

5 · Was sich am Instrument nicht prüfen lässt

Das Werkzeug wird zurückgehalten; nichts, was diese Seite darüber sagt, wie die Erfassungen entstanden sind, lässt sich von außen prüfen. Dahinter stehen zwei Dinge, und das zweite wiegt schwerer als das erste.

Das Werkzeug ist nicht öffentlich. Stattdessen erhalten Sie die Ausgabe: die beiden CSV-Dateien, die Zusammenfassung und ihre Prüfsummen sowie die Beschreibung des Erfassungsprotokolls auf der Methodenseite. Ob das Protokoll, das ich beschreibe, das Protokoll ist, das das Werkzeug ausführt, können diese Dateien nicht klären.

Und die eigene Geschichte des Werkzeugs ist verloren. Sein Repository enthält genau einen Commit, datiert auf den 26. August 2026; alles davor ging verloren und lässt sich nicht wiederherstellen. Die Arbeitsdokumente aus dem Bau sind erhalten und ebenfalls nicht öffentlich. Es gibt also keinen Entwicklungsverlauf, auf den ich zeigen könnte, und von hier aus keinen Weg zu zeigen, dass das Instrument vom 4. Juli das Instrument vom 25. August war. Das ist eine echte Lücke hinter jeder Zahl auf dieser Seite, und das Einzige, was sie verkleinert, ist das Archiv selbst, das ebenfalls nicht veröffentlicht ist.

6 · Das Prüfwerkzeug

Ich lasse ein Prüfwerkzeug über mein eigenes Archiv laufen. Beim Auslesen am 29. August, Build 2136073e, hat es elf Prüfungen ausgeführt, und vier sind fehlgeschlagen. Dieser Build ist nicht der, der heute im Archiv steht, und seine Zählungen wurden seither nicht reproduziert.

Zwei Zeilen zeigen 26Bilder, die unter einem Lauf erfasst und von einem anderen Lauf aus verwendet werden.Nicht nachprüfbar. Der Wert stammt aus meinem Erfassungsarchiv, das nicht veröffentlicht ist. ARCHIVE.crossRunRefs schließen, und das ist nicht eine Zahl, zweimal genannt. cross-run references zählt Bilder, die unter einem Lauf aufgezeichnet und von einem anderen referenziert werden; unkeyed observations zählt Antwortzeilen ohne Zellenadresse. Ob sich die beiden Mengen überschneiden, sagt die Ausgabe des Prüfwerkzeugs nicht, und das Archiv, das es gelesen hat, ist nicht veröffentlicht; von hier aus lässt sich das also nicht klären. Keine der beiden Zahlen geht in eine Zahl auf dieser Website ein.

Ein älterer Build, f0dd057a, ist an drei derselben Prüfungen gescheitert und meldete 7,2Abdeckung, die ein älterer Build des Prüfwerkzeugs gemeldet hat, anders gezählt und daher nicht vergleichbar.Nicht nachprüfbar. Der Wert stammt aus meinem Erfassungsarchiv, das nicht veröffentlicht ist. ARCHIVE.olderBuildCoveragePct schließen Prozent Abdeckung mit verifizierten Bildern; dieser Build meldet 24,1Abdeckung, die dieser Build des Prüfwerkzeugs meldet, gezählt über Durchlaufplätze.Nicht nachprüfbar. Der Wert stammt aus meinem Erfassungsarchiv, das nicht veröffentlicht ist. ARCHIVE.drawSlotCoveragePct schließen Prozent Abdeckung über Durchlaufplätze. Die beiden Zahlen stammen aus verschiedenen Builds und messen verschiedene Nenner, sie lassen sich also nicht vergleichen. Die Hash-Prüfungen sind ein Ergebnis zur Integrität. Nichts ist bei der Speicherung beschädigt worden, und das ist keine Aussage darüber, dass irgendetwas richtig gemessen wurde.

7 · Die Methode

Die Bewertung nutzt sieben Dimensionen und ein festes Ablaufprotokoll. Bevor irgendein KI-System geöffnet wird, werden der Fragensatz und meine Vorhersagen in einer Präregistrierungsdatei eingefroren; elf solcher Dateien gibt es. Genau eine trägt eine Statuszeile mit „registered“, eine sagt ausdrücklich, dass sie noch nicht registriert ist, und trägt nirgends ein Datum, und bis zum 30. August 2026 hatte keine von ihnen einen Analyseplan neben sich. Der zentrale Fragensatz und die internen Stufenbeschreibungen sind nicht veröffentlicht, denn ein veröffentlichter Fragensatz misst nicht mehr das, wofür er gebaut wurde. Die Methode und das Format der Präregistrierung.

8 · Die Analysewerkzeuge

Der Analyseteil besteht aus achtzehn Python-Dateien, nur Standardbibliothek, und einem Makefile; eine davon erzeugt die statische Website. Er ist nicht öffentlichWarum: Das Archiv, das die Analysewerkzeuge lesen, enthält auch Läufe zu Marken anderer Unternehmen, ohne deren Auftrag erfasst. Diese Läufe zu veröffentlichen steht mir nicht zu. Quelle: diese Seite, 3. September 2026. schließen: Ich halte ihn zurück, bis sich ein Export erstellen lässt, der nur diesen Lauf enthält und sonst nichts. Das Archiv, das er liest, enthält auch Läufe über die Marken anderer Unternehmen, erfasst ohne deren Auftrag, und die zu veröffentlichen steht mir nicht zu. Ein Datum nenne ich dafür nicht.

9 · Sagt das also irgendetwas?

Ja, eines, innerhalb seiner Grenzen. In diesem Archiv unterschieden sich Antworten zwischen Sitzungen stärker als innerhalb einer: 85Zellen, deren Antworten sich zwischen den Wellen stärker unterscheiden, als sie innerhalb einer Sitzung von allein schwanken.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: text_moved_beyond_noise über die Zeilen mit Wiederholbarkeitsniveau aufsummieren. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.moved schließen von 103Zellen mit genug wiederholten Antworten innerhalb einer Sitzung, um zu messen, wie stark ihre Antworten von allein schwanken: ihr Wiederholbarkeitsniveau.Lässt sich nachrechnen. Aus floor-test-cells-08284347.csv: die Zeilen zählen, in denen noise_sim_text nicht leer ist. Ein Test rechnet das bei jedem Build der Website genau so nach; weicht die Zahl ab, bricht der Build ab. FLOOR.cellsWithFloor schließen Zellen fielen unter ihr eigenes Wiederholbarkeitsniveau. Die Messung ist unvollkommen, und genau deshalb kommt es auf den Wiederholbarkeitstest an: Ohne ein Niveau wäre jeder dieser Unterschiede als Veränderung gelesen worden. Das Ergebnis ist ein Beleg für Instabilität in diesem Archiv, keine allgemeine Schätzung, wie stark KI-Systeme driften.

Was es offenlässt: ob der Unterschied eine Veränderung über die Zeit ist oder eine Eigenschaft der Sitzung, denn in diesem Archiv fallen beide zusammen; ob er für andere Fragen, andere Unternehmen oder ein anderes Konto gilt; und ob eine Veränderung im Wortlaut eine Veränderung dessen ist, was die Antwort sagt, was Textähnlichkeit nicht erkennen kann.

Die nächste Studie mit diesem Instrument setzt am schwächsten Punkt dieser hier an. Ihr Registrierungsentwurf legt vor jeder Erfassung drei Durchläufe je Formulierung und KI-SystemWarum: Drei Durchläufe je Formulierung bedeuten, dass keine Zelle auf einem einzigen Wiederholungspaar beruhen kann, und weil die Formulierungen veröffentlicht werden, kann jeder sie prüfen. Quelle: diese Seite, 1. Oktober 2026. schließen fest, sodass keine Zelle auf einem einzigen Wiederholungspaar beruhen kann, und sie veröffentlicht ihre Formulierungen in der Registrierung, damit jeder sie prüfen kann. Es ist die am 30. August 2026 geschriebene Paraphrasen-Studie, noch ein Entwurf und noch nicht freigegeben, und sie ruht derzeit wegen Befunden aus ihrer eigenen Begutachtung. Bis sie freigegeben und durchgeführt ist, ist sie ein Plan, kein Ergebnis. Die Methodenseite nennt ihren Status.

Über die Paraphrasen-Studie hinaus hat sich der Plan geändert. Die nächste Arbeitsphase behandelt die Studie auf dieser Seite als das, was sie ist, eine explorative Studie, und stellt das Instrument selbst auf die Probe, bevor es wieder eingesetzt wird. Der Reihe nach:

1. Diese Studie einfrieren: eine archivierte Fassung, dazu eine schlichte Liste, welche Zahlen auf dieser Website sich aus den veröffentlichten Dateien nachrechnen lassen und welche nicht. Erledigt am 31. Oktober 2026: Die Studie ist bei Zenodo archiviert, unter 10.5281/zenodo.23780961, und die Liste hat eine eigene Seite. Eines lässt sich nicht wiederherstellen: Die Antworten der letzten Erhebungswelle, die am 25. August 2026 begann, gingen mit einer Laptop-Festplatte verloren; der spätere Teil der meisten Vergleiche lässt sich daher nicht aus den Antworten selbst neu herleiten. Das Archiv sagt, was fehlt.
2. Den Wiederholbarkeitstest prüfen, bevor ich ihm wieder vertraue: zuerst an simulierten Daten, dann an wiederholten Erfassungen, bei denen sich nichts ändern soll. Gemessen wird, wie oft er Bewegung meldet, die es nicht gibt, und wie oft er eine absichtlich eingebaute Änderung übersieht. Bis dieser Test veröffentlicht ist, bleibt jede neue Zahl als explorativ gekennzeichnet.
3. Zeit und Sitzung trennen: mehr als eine Sitzung je Zeitraum, bei jeder Antwort die Version des KI-Systems festhalten und Veränderung bei unveränderter Version getrennt vom Sprung bei einer neuen Version berichten.
4. Erst dann eine breitere Auswahl von Unternehmen, zufällig gezogen aus einer benannten Liste von Unternehmen in Deutschland, Österreich und der Schweiz, auf Deutsch und Englisch, im Browser und über die veröffentlichten Schnittstellen (APIs) der Anbieter, registriert, bevor die Ergebnisse einer Runde eingesehen werden, und mit Aussagen nur über diese Liste. Außerdem möchte ich, dass jemand, der von mir unabhängig ist, einen Teil davon mit eigenem Zugang wiederholt; zugesagt hat das noch niemand.

Zu jeder Zahl aus dieser Arbeit soll angegeben sein: ihre Stufe (explorativ oder bestätigt), ihr Datum, die Versionen der KI-Systeme, ab wann sie als veraltet gilt, ob jemand anderes sie wiederholt hat, und die Dateien, um sie nachzurechnen, oder, wo die Antworten nicht rechtmäßig veröffentlicht werden dürfen, wie man sie wiederholen kann. Der erste Schritt ist erledigt und oben datiert; von den übrigen hat noch keiner begonnen. Es ist ein Plan, kein Ergebnis; jeder Schritt wird hier datiert, sobald er registriert ist, und ein Schritt, der sich ändert oder wegfällt, wird hier ebenfalls vermerkt.

10 · Kolophon

Mein eigener Arbeitsnachweis: was ich gemessen habe, was die Messung Ihnen nicht sagen kann, und die Dateien, die dabei entstanden sind. Gesetzt in einer Serifenschrift und einer Monospace-Schrift des Systems. Keine Reichweitenmessung. Zuletzt überarbeitet am 31. Oktober 2026. Die Seite „Was sich hier geändert hat“ verzeichnet jede Änderung an einer genannten Zahl oder Aussage, seit dieser Nachweis begann. Das Änderungsprotokoll wird auf Englisch geführt.