Denes Csaszar · Berlin · szakmai beszámoló
Hogyan változott az eredmény.
A szakmai beszámoló közöl egy számot, a vizsgálat pedig azt, hogyan számítódott. A kettő között ott áll egy kérdés, amelyre egyik sem válaszol: elsőre is ez jött ki? Nem. Alább az út, hét állomásban.
Négyféle állítás van megjelölve ott, ahol súlya van, mert a négy nem ugyanaz, és ez az oldal arról szól, mi történik, ha összekeverednek. A megfigyelt jelölésű állítás egy megnevezett fájlból kiolvasható. Az értelmezés jelölésű az enyém, és lehet téves. A helyesbítés jelölésű olyasmi, ami megváltozott. A nem dönthető el jelölésű olyan kérdés, amelyre ezek az adatok nem adnak választ. Jelölés ott áll, ahol az állítás fajtájának súlya van, nem minden mondaton, mert ahol minden jelölt, ott a jelölés semmit sem jelent. Az alábbi jelöletlen számok forrásukkal együtt a vizsgálat oldalán szerepelnek. Helyesbítve: 2026. szeptember 3.
1 · Mit akartam mérni
Azt, hogy a válaszmotorok a hetek múlásával megváltoztatják-e, amit egy témáról mondanak. A mögötte álló megérzés üzleti volt, nem tudományos, abból az okból, amellyel a szakmai beszámoló kezdődik. Az első tíz kérdés 2026. július 4-én, az első rögzítés előtt bekerült az előregisztrációba. A következő öt napban a kérdéssor tizennyolcra bővült, és mind a tizennyolc július 9-én lett regisztrálva.
2 · Mit építettem először
Először tizenkét kérdés hat válaszmotoron, augusztusra tizennyolc nyolcon, hullámokban rögzítve, minden hullámot a következővel összevetve. A két hullám közötti különbség lett volna a mérés, és a neve sodródás volt.
A tervben rejlő feltevés soha nem került leírásra, ezért élhetett túl ilyen sokáig. Azt feltételezte, hogy ugyanarra a kérdésre hetek különbséggel adott két válasz azért különbözik, mert hetek teltek el. Az első tervben semmi nem mérte, mennyire különbözik két válasz, ha egyáltalán nem telik el idő.
3 · Mit hozott a futtatás
Hét hullám, amelyek első rögzítései július 4. és 2026. augusztus 25. közé esnek, és ebből 111 cella (kérdés × válaszmotor). A hullámok közötti hasonlóság mediánja: 0,183.
Az első terv felől olvasva ez nagymértékű sodródásnak látszott. Egyben ez volt az az eredmény, amelynek értelmezésére az első terv nem volt felkészítve.
Egy ellenőrző program 2026. augusztus 29-én lefutott az archívumon a 2136073e buildben, és tizenegy ellenőrzésből négy sikertelen volt. Az egyik sikertelen a coverage (lefedettség) volt: több ismétlési sorszám, mint amennyit a befagyasztott terv megenged. Ez a build nem az, amely ma az archívumban van, és számait azóta senki nem reprodukálta.
A mérőeszköz tehát maga rögzítette, hogy nem követte a saját protokollját, és ez az a kudarc, amely köré ez az oldal épül.
4 · Hol voltak a problémák
Öt helyen, és csak az utolsó programhiba. Az első négy a terv olyan hibája, amely közölhető számot adott volna.
Az összehasonlításnak nem volt kiindulási értéke. Ha nincs megmérve, mit tesz ugyanaz a kérdés, amikor egyszerűen újra elhangzik, a hullámok közötti különbség csak dátummal ellátott nemdeterminisztikusság. Semmi nem választotta el a kettőt.
Az elemzés akkor készült, amikor a hét hullámból hat már rögzítve volt. A kérdések előregisztrációja július 4. és július 9. között történt; az elemzés, amely rajtuk lefutott, augusztus 22-én készült. Addig semmi nem jelent meg, így hamis állítás sem, de egy lezárt kérdéssor lezáratlan elemzéssel nyitva hagy minden döntést, amely számít.
Az ismételhetőségi küszöbök (noise floor) egyharmada egyetlen ismétléspárra épül. A mérhető küszöbbel rendelkező 103 cellából 38 küszöbe pontosan egy ismétléspár mediánja, és 60 küszöbe egyetlen hullámból származik.
A kritérium attól függ, milyen magas a kiindulási érték. Magas küszöbnél több a tér arra, hogy a hasonlóság ennél kisebb legyen. A cellákat saját küszöbük szerint sorba rendezve és a rangsor szerint négy csoportra osztva az eltérőnek számító cellák aránya 57,7; 84,6; 92,0 és 96,2 százalék. A fő eredmény négy, egymástól különbözően viselkedő sokaság átlaga.
És egy mezőt olyasminek olvastam, amit nem rögzít. A cleanroom_logged_out pontosan akkor igaz, amikor a rögzítési mód inkognitó ablak. Arról semmit nem mond, be volt-e jelentkezve fiók. A bejelentkezett állapotra a rögzítési módból következtettem, abból kiindulva, hogy az ideiglenes csevegés felülete fiókot feltételez. Augusztus 31-én az élő felületen ellenőrizve: a chatgpt.com/temporary kijelentkezett állapotban is elérhető. A következtetés egyszerűen hamis volt.
5 · Mi változott, és mi indokolta
A kiindulási érték maga lett a mérés. Most minden cellának saját ismételhetőségi küszöbe van, ugyanannak a kérdésnek két ismétlése közötti hasonlóság mediánja, és egy cella csak akkor számít eltérőnek, ha a hullámok közötti hasonlóság szigorúan kisebb, mint a cella saját küszöbe. A sodródási szám ettől kezdve nem maga a mérés, hanem egy összehasonlítás egyik fele.
A megengedettnél több ismétlést tartalmazó cellák nem estek ki, hanem ellenőrzés alá kerültek. A 103 cellából tizenkettő több ismétlést tartalmazott, mint amennyit a befagyasztott terv megengedett.
Ha ezt a tizenkettőt kivesszük, az arány nő: 82,5 helyett 85,7 százalék.
A megengedettnél több ismétlés tehát az állítást gyengítette, nem erősítette. Hogy ebbe az irányba hatott, az szerencse, nem módszer: az ellenőrzésre ugyanúgy szükség lett volna, ha fordítva alakul, és itt úgy szerepel, ahogy ténylegesen alakult, hogy a szerencse látható maradjon.
Az arány most a küszöb szerinti rangcsoportonként is szerepel, mert egyetlen átlag a fenti négy sokaságra éppen azt takarja el, amitől a kritérium működik. Helyesbítve: 2026. szeptember 17.
A bejelentkezésről szóló állítás helyére az került, amit az archívum tartalmaz. Nem enyhítve, hanem lecserélve. Az oldalak most azt mondják, hogy a rögzítési mód válaszmotoronként meghatározott volt, és minden hullámban változatlan maradt, tehát kontrollált volt, a bejelentkezett állapot viszont nem került rögzítésre, és a módból nem is következtethető ki. Egy következtetés nem feljegyzés.
Most van elemzési terv, és az adatok előtt készül. Ez az első ebben a kutatói gyakorlatban, és a 4. állomásban megnevezett hiány miatt létezik.
6 · Ami megállta a helyét
A küszöbbel rendelkező cellák közül 103-ból 85 cella hullámok közötti hasonlósága kisebb, mint a saját ismételhetőségi küszöbe, szemben a pusztán véletlenszerűen várható 40,9 százalékkal (permutációs referenciaeloszlás összekevert címkéken, 5000 permutáció, kezdőérték 0). A különbség mediánja −0,065, 95 százalékos intervalluma −0,092 és −0,030 között van, a 18 kérdés szerint csoportosított bootstrap-pel számítva.
Ami nem állta meg a helyét, az a pontbecslés mint fő eredmény.
Azon a 43 cellán, amelyek küszöbét nem egy, hanem mindkét hullámban mértem, az arány 43-ból 33. Ez 76,7 százalék, szemben az összes 103 cellán mért 82,5 százalékkal.
Hogy miért különbözik a kettő, azt ez az oldal nem állapítja meg. Lehet azoknak a celláknak a sajátossága, amelyek történetesen két hullámot hordoznak, vagy a mérésé, vagy mindkettőé, és ezek az adatok nem tudják szétválasztani őket. Ennek tisztázása egy külön elemzés feladata, nem ennek az oldalnak.
Ami pusztán a megfigyelésből következik, az szűkebb, és mégis elég: 103-ból 85 a fő eredmény, és 43-ból 33 ugyanez a számlálás annak jobban mért részhalmazán. A második egy saját bizonytalansággal bíró részhalmaz, nem egy tartomány pesszimista vége, és az az olvasó, aki csak a fő eredményt kapja meg, a fő eredményt értékelné le, amikor később rátalál a részhalmazra.
Szintén elesett: minden állítás a fiók állapotáról. Ehhez két menet kellett, nem egy. Az első a fenti, bejelentkezésre vonatkozó következtetést cserélte le; az oldalak szeptember 3-ig még mindig „állandónak tartott és nem ismert” állapotról beszéltek, ami két összeegyeztethetetlen dolgot mond: az „állandónak tartott” kontrollváltozóvá teszi, a „nem ismert” zavaró tényezővé. Most annak szerepel, ami: sem nem kontrollált, sem nem megfigyelt, és a hullámok közötti tagban ül, ahol, ha egyáltalán hat, az eltérőnek számító cellák arányát csak növelheti, nem csökkentheti.
7 · Amit a következő vizsgálat örököl
Hat szabály. Ezek közül kettő a 4. állomásban megnevezett hibák árán született: a második az elemzés előregisztrációjának hiányáén, az ötödik annak a mezőnek az árán, amelyet annak olvastam, amire utal. A másik négy ennek a kutatói gyakorlatnak más területeiről származik, és ezen az oldalon semmi nem bizonyítja őket. Helyesbítve: 2026. szeptember 3.
- A kiindulási értéknek és a hatásnak ugyanakkora időtávot kell átfognia. Egy harminc másodperc alatt mért küszöb nem vonható ki egy egy óra alatt mért hatásból.
- Az elemzést az adatok létrejötte előtt kell előregisztrálni, nem az írás kezdete előtt.
- Minden kritériumnak meg kell adnia a saját véletlen találati arányát. Az enélkül megállapított határérték olyan alacsonyra is kerülhet, hogy már a véletlen is átlépi, és akkor csak a saját aritmetikáját méri.
- Az ismert kimenetelű kontrollesetnek pontosan ugyanazon a végrehajtási útvonalon kell futnia. Az a kontrolleset, amely külön bánásmódot kap, csak azt bizonyítja, hogy a külön bánásmód működik.
- Egy mezőt annak kell olvasni, amit rögzít, soha nem annak, amire utal.
- Az az ellenőrzés, amely nem bukhat el, nem ellenőrzés. Az a szűrő, amelyre semmi nem illik, pontosan úgy néz ki, mint az, amelyik nem talált hibát.
Annak a vizsgálatnak, amelyhez ezek a szabályok készültek, van előregisztrációja, de rögzítés még nem történt. Maga az előregisztráció is még tervezet, jóváhagyásra vár, és jelenleg a saját felülvizsgálatának megállapításai miatt szünetel; éppen erre valók a szabályok. Helyesbítve: 2026. szeptember 17. A módszer és az előregisztráció formátuma, valamint a vizsgálat, amelyből ezek a számok származnak, egyaránt tartalmazza azokat a részleteket, amelyeket ez az oldal összefoglal, a „Mi változott itt” oldal pedig e beszámoló kezdete óta minden olyan módosítást felsorol, amely közölt számot vagy állítást érint. A változásnapló angol nyelven készül.
Utoljára módosítva: 2026. október 31.