Denes Csaszar · Berlin · szakmai beszámoló

Mérőeszközöket építek, és feljegyzem, hol vallanak kudarcot.

Az érdekel, mi történik a méréssel, ha a mért dolog maga is változik.

A kérdés

Lehet-e bízni egy mérésben, ha a mért dolog a mérések között változik?

Minden jelentés arról, mit mondanak az AI-válaszok egy cégről, különböző időpontokban kapott válaszokat hasonlít össze. Amíg nincs megmérve, mennyit mozognak a válaszok maguktól, a két jelentés közötti különbség lehet olyan zaj is, amely változásnak látszik.

A legutóbbi mérés nyolc válaszmotort indoklás: A nyolc válaszmotor széles körben használt; elegendő egy átfogó képhez, és elég kevés ahhoz, hogy egyetlen ember rögzíthesse őket; európai szereplőként a Mistral is köztük van. A kérdések száma, a tizennyolc, nem előre kitűzött szám, hanem ott állt meg a kérdéssor: a 2026. július 4-én regisztrált tíz kérdésről július 9-ig mind a tizennyolcra bővült, ahogy a kérdéssor hiányait pótoltam. A kérdések 2026. július 4. és 9. között születtek; a Meta AI és a Mistral az ötödik hullámmal, augusztus 10-én került be. A magyarázat 2026. október 30-án készült. bezárás (answer engine) vizsgált (ChatGPT, Gemini, Claude, Copilot, Perplexity, Google AI, Meta AI és Mistral), és azt találta, hogy az adatfelvételi hullámok magyarázat: adatfelvételi hullám, hullám Ezen az oldalon: a hét rögzítési kör egyike; a körök első rögzítései 2026. július 4. és augusztus 25. közé esnek. Egy hullámon belül ugyanazt a kérdést többször is feltettem ugyanannak a válaszmotornak. bezárás között nagyobb mértékben fogalmazták át válaszaikat, mint amikor ugyanaz a kérdés kétszer egymás után hangzik el. A láthatósági méréseket pillanatfelvételként adják el, és ha a lefényképezett dolog magától mozog, az egyszer készült pillanatfelvétel kevesebbet ér, mint amennyinek látszik.

A mérés 18 A válaszmotoroknak feltett kérdések, mind ugyanarról a cégről.Újraszámolható. floor-test-cells-08284347.csv: Számolja meg az intent_id oszlop különböző értékeit. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.questions bezárás kérdésre rögzítette a válaszmotorok kimenetét hét adatfelvételi hullámban, amelyek első rögzítései 2026. július 4. és augusztus 25. közé esnek. A kérdések mind egyetlen cégről szólnak; a választás Indoklás: A cégről keveset publikáltak. Forrás: ez az oldal, 2026. október 1. bezárás azért esett rá, mert keveset publikáltak róla. Az alábbiak megmutatják, ebből az eredményből mennyi állja ki az ellenőrzést, a „Hogyan változott az eredmény” oldal pedig végigköveti az eredményhez vezető utat.

Ezt a munkát magánszemélyként teszem közzé. Egyben a Makefield része is: ez az ugyanezzel a kérdéssel foglalkozó független kutatási projektem.

Írjon a denes@denescsaszar.com címre.

Az oldal szövegében 81 szám szerepel, ebből 59 újraszámolható a közzétett fájlokból. Bármelyik számra koppinthat vagy kattinthat.

Az oldal áttekintése

1Változás, minden cella saját ismételhetőségi küszöbéhez mérve365 szó
2Megfogalmazás, nem egyetértés; feltáró, nem előregisztrált160 szó
3A darabszámok530 szó
4Az ismételhetőségi vizsgálat518 szó
5Amit a mérőeszközről nem lehet ellenőrizni151 szó
6Az ellenőrző program179 szó
7A módszer87 szó
8Az elemzőeszközök72 szó
9Mond-e ez akkor bármit?551 szó
10Kolofon56 szó

Az oldal számai

Az oldal számai, forrással.

Az oldal szövegének 81 számából 59 újraszámolható a közzétett fájlokból, és a webhely minden buildjénél egy teszt újra is számolja őket. A többinél ott áll, honnan származik. Ha egy számra koppint vagy kattint a szövegben vagy lent, megjelenik, mit jelent és hogyan ellenőrizhető.

A vonal ez az oldal, szavakban arányosan, balról jobbra és sorról sorra olvasva; egy rovátka egy szakaszt jelöl. Ahol a számok túl közel esnek ahhoz, hogy külön lehessen rájuk koppintani, a jelek annyival odébb kerülnek, hogy egy ujjal szét lehessen választani őket, és az utánuk következő rovátkák is velük mozdulnak. ● a közzétett fájlokból újraszámolható · ○ az összesítő fájlból átvéve · □ az elemzéshez választott érték · szaggatott ○ a nem nyilvános rögzítési archívumomból.

Újraszámolható, minden buildnél ellenőrizve (59): 18, 103, 85, 103, 43, 33, 65, 52, 0,047, 108, 87, 108, 37, −0,042, −0,066, 108, 83, 93, 7, 18, 111, 103, 0,266, 0,200, 0,321, 0,183, −0,065, 103, 85, −0,047, 108, 103, 111, 108, 87, 21, −0,042, −0,066, 108, 83, 93, 18, 5, 111, 8, 103, 103, 18, 16, 16, 16, 16, 12, 12, 5, 0, 18, 103, 85
Az összesítőből átvéve (12): 12, −0,092, −0,030, 18, 2000, 0, 40,9, 5000, 0, 5000, −0,058, −0,031
Az elemzéshez választott értékek (2): 95, 95
A nem nyilvános rögzítési archívumomból (8): 768, 9692, 28, 27, 5214, 26, 7,2, 24,1

A webhely oldalai

A mérés

1 · Változás, minden cella saját ismételhetőségi küszöbéhez mérve

A válaszmotorok nem determinisztikusak. Ha ugyanaz a kérdés egyazon alkalommal kétszer hangzik el, a válasz már más szavakkal érkezik, így egy egyszerű előtte–utána összehasonlítás nem tudja elválasztani a változást a zajtól. Az ismételhetőségi vizsgálat magyarázat: ismételhetőségi vizsgálat Ezen az oldalon: az itt közölt vizsgálat, amely minden cella hullámok közötti hasonlóságát a cella saját ismételhetőségi küszöbéhez méri. bezárás az alkalmak magyarázat: alkalom Ezen az oldalon: rögzítési alkalom. Ebben az archívumban minden hullám egyetlen alkalom volt, ezért az idő hatása és az alkalom hatása nem választható szét. bezárás közötti különbséget választja el az egy alkalmon belüli zajtól; hogy ez a különbség időbeli változás-e, azt nem tudja megmondani. Egy hullámon belül ugyanaz a kérdés többször elhangzik ugyanannál a válaszmotornál, és az ismételt válaszok közötti hasonlóság a cella saját ismételhetőségi küszöbe magyarázat: ismételhetőségi küszöb Ezen az oldalon: azt méri, mennyire hasonlítanak egymásra ugyanannak a válaszmotornak ugyanarra a kérdésre adott válaszai egy hullámon belül; értéke a köztük mért hasonlóságok mediánja. Minden cellát a saját ismételhetőségi küszöbéhez mérek. bezárás (noise floor). A hullámok között ugyanaz a cella újra mérésre kerül. Egy cella csak akkor számít eltérőnek magyarázat: eltérő Ezen az oldalon: egy cella akkor számít eltérőnek, ha a hullámok közötti hasonlósága szigorúan kisebb a saját ismételhetőségi küszöbénél. Ez azt jelzi, hogy a válaszok jobban különböznek, mint amennyit a zaj megmagyarázna, azt viszont nem, hogy miért. bezárás, ha a hullámok közötti hasonlósága szigorúan indoklás: Egy cella csak akkor számít eltérőnek, ha a hullámok közötti válaszai kevésbé hasonlók egymáshoz, mint az ismételt válaszai, nem pedig akkor, ha pontosan ugyanannyira hasonlók; a permutációs eloszlás, amely megmutatja, mennyit adna ki pusztán a véletlen, ugyanezt a szabályt követi, így a kettő ugyanazzal a mércével vethető össze. Ezekben az adatokban egyetlen cella sem esik pontosan a saját ismételhetőségi küszöbére, így a szabály itt semmin nem változtat. Az elemzéssel együtt született, 2026. augusztus 22-én, amikor a hét hullámból hat már rögzítve volt. A magyarázat 2026. október 30-án készült. bezárás kisebb a saját küszöbénél, nem pedig egy közös határértéknél Indoklás: Az ismételhetőségi küszöbök 0,036 és 0,600 között mozognak, vagyis terjedelmük nagyobb, mint a legtöbb különbség, amelyet hozzájuk mérek. Forrás: az oldal ábrája és a tanulmány oldala, 2026. augusztus 31. bezárás. A darabszámra vonatkozó permutációs referenciaeloszlás indoklás: Cellánként csak néhány válasz mellett egyes cellák hullámok közötti hasonlósága pusztán a véletlen miatt is kisebb lenne a saját ismételhetőségi küszöbüknél, ezért az eltérő cellák száma önmagában keveset mond. Ha összekeverem, melyik válasz melyik hullámból származik, kiderül, mennyit adna ki pusztán a véletlen: a cellák 40,9 százalékát, szemben a 103 cella közül megfigyelt 85 eltérővel (82,5 százalék). Az elemzéssel együtt született, 2026. augusztus 22-én, amikor a hét hullámból hat már rögzítve volt. A magyarázat 2026. október 30-án készült. bezárás külön lépés, nem része a vizsgálatnak. Az összesítő fájl maga rögzíti, mit nem tud megmutatni ez az eloszlás: „In this archive a wave IS a sitting, so a rejection cannot separate drift over elapsed time from answers taken in one sitting resembling each other.” (Magyarul: Ebben az archívumban egy hullám UGYANAZ, mint egy alkalom, ezért a nullhipotézis elutasítása nem tudja elválasztani az idő múlásával bekövetkező sodródást magyarázat: sodródás Ezen az oldalon: a válaszok változása az idő múlásával, szemben azzal, hogy a válaszok alkalomról alkalomra különböznek. Ebben az archívumban a kettő nem választható szét. bezárás attól, hogy az egy alkalommal kapott válaszok hasonlítanak egymásra.)

A mérhető ismételhetőségi küszöbbel rendelkező 103 Cellák, amelyekben egy alkalmon belül elég ismételt válasz volt ahhoz, hogy mérhető legyen, mennyire ingadoznak a válaszaik maguktól: ez az ismételhetőségi küszöbük.Újraszámolható. floor-test-cells-08284347.csv: Számolja meg azokat a sorokat, amelyekben a noise_sim_text nem üres. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.cellsWithFloor bezárás cellából (kérdés × válaszmotor)magyarázat: cella (kérdés × válaszmotor) Ezen az oldalon: egy kérdés és egy válaszmotor párosa. A cella egy hullámon belüli ismételt válaszai közötti hasonlóságok mediánja a cella saját ismételhetőségi küszöbe; a hullámok között ugyanazt a cellát újra mérem. bezárás 85 Cellák, amelyeknek a válaszai a hullámok között jobban eltérnek, mint amennyire egy alkalmon belül maguktól ingadoznak.Újraszámolható. floor-test-cells-08284347.csv: Adja össze a text_moved_beyond_noise értékeit az ismételhetőségi küszöbbel rendelkező sorokban. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.moved bezárás esetében kisebb a hullámok közötti hasonlóság, mint a cella saját küszöbe; ezek számítanak eltérőnek. E 103 Cellák, amelyekben egy alkalmon belül elég ismételt válasz volt ahhoz, hogy mérhető legyen, mennyire ingadoznak a válaszaik maguktól: ez az ismételhetőségi küszöbük.Újraszámolható. floor-test-cells-08284347.csv: Számolja meg azokat a sorokat, amelyekben a noise_sim_text nem üres. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.cellsWithFloor bezárás cella két jobban mért részhalmaza Indoklás: Az ismételhetőségi küszöbök egyharmada egyetlen ismétléspárra épül. Forrás: ez az oldal, 2026. szeptember 17. bezárás e szám mellett áll, nem pedig alsó és felső korlátként fogja közre: azok közül a 43 Cellák, amelyeknek az ismételhetőségi küszöbe a korábbi és a későbbi hullámból is származik, mindkettőben legalább két válasszal.Újraszámolható. floor-test-cells-08284347.csv: Számolja meg azokat a sorokat, amelyekben a draws_early és a draws_late is legalább 2. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.bothWaves bezárás cella közül, amelyek küszöbét mindkét hullámban mértem, 33 Azok közül a cellák közül, amelyeknek az ismételhetőségi küszöbe mindkét hullámból származik, az eltérőnek számítók.Újraszámolható. floor-test-cells-08284347.csv: Vegye azokat a sorokat, amelyekben a draws_early és a draws_late is legalább 2, és adja össze a text_moved_beyond_noise értékeit. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.bothWavesMoved bezárás, és azok közül a 65 Cellák, amelyeknek az ismételhetőségi küszöbe legalább két ismétléspáron alapul, így kevésbé függ egyetlen esettől.Újraszámolható. floor-test-cells-08284347.csv: Számolja meg azokat a sorokat, amelyekben a within_pairs legalább 2. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.twoPairFloors bezárás közül, amelyek küszöbe legalább két ismétléspárra magyarázat: ismétléspár Ezen az oldalon: ugyanannak a válaszmotornak ugyanarra a kérdésre, ugyanabban a hullámban adott két válasza. Az ismételhetőségi küszöb a cella ismétléspárjain számolt medián. bezárás épül, 52 A legalább két ismétléspárral rendelkező cellák közül az eltérőnek számítók.Újraszámolható. floor-test-cells-08284347.csv: Vegye azokat a sorokat, amelyekben a within_pairs legalább 2, és adja össze a text_moved_beyond_noise értékeit. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.twoPairMoved bezárás.

Minden rögzítés egyetlen böngészős mérőeszközzel, egyetlen fiókon keresztül történt. A rögzítési mód válaszmotoronként meghatározott volt, és mind a hét hullámban változatlan maradt; az archívum ezt mutatja, tehát kontrollált volt. Az egész archívumban egy dokumentált kivétel van, a mistral 2026. július 15-én, és 768 Sorok a teljes rögzítési archívumban, amelyekben nincs megadva a rögzítési mód.Nem ellenőrizhető. A nem nyilvános rögzítési archívumomból származik. ARCHIVE.rowsWithoutMode bezárás sorban egyáltalán nincs mód megadva. Hogy be volt-e jelentkezve fiók, arról soha nem készült feljegyzés, és a módból sem olvasható ki; a bejelentkezett állapot tehát nem volt kontrollált, és hullámról hullámra változhatott. Egy ilyen zavaró tényező a hullámok közötti hasonlóságban jelentkezik, és ott, ha egyáltalán hat, az eltérő cellák arányát csak növelheti, nem csökkentheti.

Amit nem mutat

2 · Megfogalmazás, nem egyetértés; feltáró, nem előregisztrált

A szöveges hasonlóság magyarázat: szöveges hasonlóság Ezen az oldalon: érték, amely megmutatja, a tartalmi szavak mekkora része közös két válaszban. A megfogalmazást méri, nem azt, hogy a válaszok egyetértenek-e. bezárás a megfogalmazás átfedését méri, nem az egyetértést. Ez tehát a válaszszöveg változása, nem állítás arról, mit ajánlanak a válaszmotorok. A hullámok három időpontra esnek, így ez három mérési időpont, nem görbe. A küszöbök egyharmada egyetlen ismétléspárra épül; ezért áll a két jobban mért részhalmaz a fenti fő eredmény mellett. Minden itteni szám egyetlen feldolgozási láncból (pipeline) származik, amelyet ugyanaz a személy írt, aki a számokat itt közli, és amely egy olyan archívumon futott, amelyet ugyanez a személy rögzített. Helyesbítve 2026. szeptember 17-én. A bejelentkezett állapotról nincs feljegyzés, tehát nem volt kontrollváltozó. Egy fel nem jegyzett változó nem kontrollváltozó. Helyesbítve 2026. szeptember 3-án. Az elemzés nem volt előregisztrálva magyarázat: előregisztrált, feltáró Ezen az oldalon: az előregisztrált elemzést egy keltezett fájlban határozzák meg, mielőtt az adatok ismertté válnának. Ezt az elemzést akkor írtam, amikor a hét hullámból hatot már rögzítettem, ezért az eredmény feltáró jellegű. bezárás. A kérdések igen, lépésenként: az első tíz 2026. július 4-én, mind a tizennyolc július 9-én; maga az ismételhetőségi vizsgálat augusztus 22-én készült, amikor a hét hullámból hat már rögzítve volt. Feltáró eredményként olvassa, mert az. A módszertani oldal mindkét dátumot közli.

A bizonyítékok

3 · A darabszámok

A hullámok három időpontra esnek: július elejére, augusztus közepére és augusztus végére. Egyetlen cellán belül, azonos kérdés és azonos válaszmotor esetén a hosszabb időköznél kapott válasz kevésbé hasonlít a korábbihoz, mint a rövidebb időköznél kapott, a különbség 0,047 Egy cellán belül: mennyivel kevésbé hasonló a válasz a hosszabb időköznél, mint a rövidebbnél. A jellemző (medián) különbség, a 0-tól 1-ig terjedő skálán.Újraszámolható. floor-test-gap-pairs-08284347.csv: Minden ilyen cellában vonja ki a legrövidebb gap_days melletti across_wave_sim_text értéket a leghosszabb melletti értékből (holtverseny esetén a fájlban elsőként szereplő sort véve), négy tizedesre kerekítve; a cellák mediánja négy tizedesre −0,0465, ezt kerekítse három tizedesre. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.withinCellMedian bezárás, és a két különböző időközzel rendelkező 108 Cellák, amelyeket legalább két különböző időközzel mértem, így egy hosszabb és egy rövidebb időköz összevethető.Újraszámolható. floor-test-gap-pairs-08284347.csv: Csoportosítsa a sorokat intent_id és engine szerint, és számolja meg azokat a csoportokat, amelyekben a gap_days legalább két különböző értéket vesz fel. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.withinCellN bezárás cellából 87 Cellák, amelyekben a válasz a hosszabb időköznél kevésbé hasonló, mint a rövidebbnél.Újraszámolható. floor-test-gap-pairs-08284347.csv: Számolja meg e különbségek közül a negatívakat. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.withinCellLessAlike bezárás ebbe az irányba mutat. Ez cellán belüli összehasonlítás Indoklás: Ha a cellát csak önmagához mérem, a válaszmotor és a kérdés hatása kiszűrődik. Forrás: ez az oldal, 2026. szeptember 17. bezárás, tehát a válaszmotor és a kérdés hatását kiszűri. Az időszakét nem. Tartományként olvassa, ne pontként.Indoklás: Öt észszerű szabály mellett az irány megmarad, a pontbecslés nem. Forrás: az adatkészlet README-fájlja, 2026. szeptember 3. bezárás Hogy egy cella hullámpárjai közül melyik számít a legrövidebbnek és melyik a leghosszabbnak, választás kérdése, valahányszor két pár időköze napokban mérve ugyanakkora, és 108 Cellák, amelyeket legalább két különböző időközzel mértem, így egy hosszabb és egy rövidebb időköz összevethető.Újraszámolható. floor-test-gap-pairs-08284347.csv: Csoportosítsa a sorokat intent_id és engine szerint, és számolja meg azokat a csoportokat, amelyekben a gap_days legalább két különböző értéket vesz fel. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.withinCellN bezárás-ból 37 Cellák, amelyekben két hullámpár ugyanannyi napra van egymástól, így választás kérdése, melyik számít a legrövidebbnek vagy a leghosszabbnak.Újraszámolható. floor-test-gap-pairs-08284347.csv: Számolja meg azokat a cellákat, amelyekben a legrövidebb vagy a leghosszabb időköznél a gap_days egy értéke többször előfordul. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.withinCellTies bezárás cellánál ez így van. A választás öt észszerű módja −0,042 A legenyhébb eredmény öt észszerű, holtverseny esetén alkalmazott szabály közül.Újraszámolható. floor-test-gap-pairs-08284347.csv: Számolja újra a cellán belüli mediánt az adatkészlet README-fájljában leírt öt szabály mindegyikével (a fájlban első vagy utolsó sor, a holtversenyben álló sorok közül a leghasonlóbb vagy a legkevésbé hasonló, illetve ezek átlaga); ez az a medián, amely a legközelebb van a nullához. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.tieBreakLo bezárás és −0,066 A legerősebb eredmény ugyanezen öt, holtverseny esetén alkalmazott szabály közül.Újraszámolható. floor-test-gap-pairs-08284347.csv: Ugyanez az öt medián; ez az, amely a legtávolabb van a nullától. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.tieBreakHi bezárás közötti értéket, valamint 108 Cellák, amelyeket legalább két különböző időközzel mértem, így egy hosszabb és egy rövidebb időköz összevethető.Újraszámolható. floor-test-gap-pairs-08284347.csv: Csoportosítsa a sorokat intent_id és engine szerint, és számolja meg azokat a csoportokat, amelyekben a gap_days legalább két különböző értéket vesz fel. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.withinCellN bezárás-ból 83 Mind az öt szabály szerint legalább ennyi cellában kevésbé hasonló a válasz a hosszabb időköznél.Újraszámolható. floor-test-gap-pairs-08284347.csv: Minden szabálynál számolja meg a negatív különbségeket; ez az öt szám közül a legkisebb. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.tieBreakCountLo bezárás és 93 Mind az öt szabály szerint legfeljebb ennyi cellában kevésbé hasonló a válasz a hosszabb időköznél.Újraszámolható. floor-test-gap-pairs-08284347.csv: Ugyanez az öt szám; ez a legnagyobb. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.tieBreakCountHi bezárás közötti darabszámot ad. Az irány mind az öt esetben megmarad; a pontbecslés nem, és a tartomány túlnyúlik az alább közölt intervallum egyik végén. A tanulmány oldala közli a szabályt, a hullámpárfájl pedig az ellenőrzéshez szükséges sorokat.

Minden cella a saját ismételhetőségi küszöbéhez mérve. Cellánként egy vonal, 103 vonal, a cellák saját küszöbe szerint rendezve. Minden vonal a küszöbtől a hullámok közötti hasonlóságig tart. 85 balra fut, 18 jobbra. A küszöb nem egyetlen határérték: 0,036 és 0,600 között mozog, vagyis terjedelme nagyobb, mint a legtöbb különbség, amelyről dönt.

A jobbra futó vonalak nem szétszórtan helyezkednek el. Az ábra alsó részén vannak, ahol a küszöb alacsony, és ez a vizsgálat sajátossága, nem a válaszmotoroké: alacsony küszöbnél nehezebb, hogy a hasonlóság ennél is kisebb legyen, mint magasnál. A cellákat saját küszöbük szerint sorba rendezve és a rangsor szerint négy csoportra osztva a balra futók aránya 57,7; 84,6; 92,0 és 96,2 százalék. A rangcsoportok rang, nem érték szerint képződnek; a szabály és a buktató az adatkészlet README-fájljában szerepel.

balra: a hasonlóság kisebb a saját küszöbénél · nem kisebb · vonás = maga a küszöb

claude B1: küszöb 0,600, hullámok között 0,455, különbség −0,145
claude X2: küszöb 0,559, hullámok között 0,254, különbség −0,306
copilot C2: küszöb 0,507, hullámok között 0,229, különbség −0,278
chatgpt B1: küszöb 0,441, hullámok között 0,117, különbség −0,324
googleai A2: küszöb 0,432, hullámok között 0,024, különbség −0,408
claude A2: küszöb 0,428, hullámok között 0,395, különbség −0,033
claude C2: küszöb 0,411, hullámok között 0,193, különbség −0,218
copilot D1: küszöb 0,410, hullámok között 0,098, különbség −0,313
claude D1: küszöb 0,403, hullámok között 0,233, különbség −0,169
copilot X1: küszöb 0,403, hullámok között 0,400, különbség −0,003
gemini C2: küszöb 0,388, hullámok között 0,223, különbség −0,165
gemini X4: küszöb 0,384, hullámok között 0,204, különbség −0,180
chatgpt D2: küszöb 0,381, hullámok között 0,154, különbség −0,227
copilot R4: küszöb 0,378, hullámok között 0,294, különbség −0,084
copilot B1: küszöb 0,374, hullámok között 0,180, különbség −0,195
gemini D1: küszöb 0,360, hullámok között 0,036, különbség −0,324
perplexity R4: küszöb 0,356, hullámok között 0,131, különbség −0,226
chatgpt D1: küszöb 0,355, hullámok között 0,054, különbség −0,301
copilot X4: küszöb 0,344, hullámok között 0,339, különbség −0,005
gemini R3: küszöb 0,342, hullámok között 0,249, különbség −0,093
copilot B2: küszöb 0,342, hullámok között 0,136, különbség −0,206
gemini R4: küszöb 0,334, hullámok között 0,233, különbség −0,101
copilot R3: küszöb 0,328, hullámok között 0,299, különbség −0,028
chatgpt C2: küszöb 0,327, hullámok között 0,207, különbség −0,120
metaai D1: küszöb 0,324, hullámok között 0,191, különbség −0,133
perplexity C2: küszöb 0,324, hullámok között 0,327, különbség +0,003
copilot R2: küszöb 0,317, hullámok között 0,224, különbség −0,094
metaai B1: küszöb 0,314, hullámok között 0,222, különbség −0,092
copilot R1: küszöb 0,312, hullámok között 0,192, különbség −0,120
chatgpt R3: küszöb 0,308, hullámok között 0,162, különbség −0,146
metaai X2: küszöb 0,304, hullámok között 0,237, különbség −0,066
chatgpt X2: küszöb 0,301, hullámok között 0,097, különbség −0,203
metaai A1: küszöb 0,300, hullámok között 0,268, különbség −0,032
gemini R1: küszöb 0,295, hullámok között 0,219, különbség −0,076
perplexity D1: küszöb 0,293, hullámok között 0,079, különbség −0,214
claude B2: küszöb 0,293, hullámok között 0,266, különbség −0,027
metaai C2: küszöb 0,293, hullámok között 0,228, különbség −0,065
copilot A1: küszöb 0,292, hullámok között 0,313, különbség +0,020
gemini B1: küszöb 0,291, hullámok között 0,175, különbség −0,116
metaai R1: küszöb 0,288, hullámok között 0,286, különbség −0,003
metaai A2: küszöb 0,287, hullámok között 0,262, különbség −0,025
googleai B1: küszöb 0,286, hullámok között 0,004, különbség −0,282
perplexity R1: küszöb 0,285, hullámok között 0,156, különbség −0,129
gemini R2: küszöb 0,278, hullámok között 0,255, különbség −0,023
claude A1: küszöb 0,278, hullámok között 0,273, különbség −0,005
claude X1: küszöb 0,278, hullámok között 0,258, különbség −0,020
metaai R4: küszöb 0,273, hullámok között 0,208, különbség −0,065
chatgpt R1: küszöb 0,270, hullámok között 0,185, különbség −0,085
chatgpt A1: küszöb 0,270, hullámok között 0,182, különbség −0,087
chatgpt R2: küszöb 0,269, hullámok között 0,175, különbség −0,094
metaai B4: küszöb 0,266, hullámok között 0,286, különbség +0,021
metaai R3: küszöb 0,266, hullámok között 0,202, különbség −0,063
copilot X3: küszöb 0,263, hullámok között 0,190, különbség −0,073
copilot X2: küszöb 0,252, hullámok között 0,268, különbség +0,016
copilot A2: küszöb 0,251, hullámok között 0,234, különbség −0,016
metaai D2: küszöb 0,249, hullámok között 0,158, különbség −0,091
metaai B2: küszöb 0,249, hullámok között 0,214, különbség −0,035
copilot C1: küszöb 0,245, hullámok között 0,230, különbség −0,014
claude R4: küszöb 0,244, hullámok között 0,225, különbség −0,019
googleai R2: küszöb 0,244, hullámok között 0,118, különbség −0,126
claude R1: küszöb 0,243, hullámok között 0,225, különbség −0,018
perplexity R2: küszöb 0,237, hullámok között 0,167, különbség −0,070
gemini A1: küszöb 0,235, hullámok között 0,162, különbség −0,073
metaai X4: küszöb 0,233, hullámok között 0,207, különbség −0,026
gemini A2: küszöb 0,232, hullámok között 0,097, különbség −0,135
googleai R4: küszöb 0,231, hullámok között 0,010, különbség −0,220
metaai B3: küszöb 0,229, hullámok között 0,236, különbség +0,007
claude C1: küszöb 0,227, hullámok között 0,178, különbség −0,049
claude R3: küszöb 0,223, hullámok között 0,220, különbség −0,003
perplexity R3: küszöb 0,222, hullámok között 0,173, különbség −0,049
chatgpt B2: küszöb 0,220, hullámok között 0,139, különbség −0,081
metaai X1: küszöb 0,219, hullámok között 0,247, különbség +0,028
chatgpt A2: küszöb 0,217, hullámok között 0,153, különbség −0,064
perplexity A1: küszöb 0,212, hullámok között 0,166, különbség −0,046
copilot D2: küszöb 0,205, hullámok között 0,144, különbség −0,061
chatgpt C1: küszöb 0,205, hullámok között 0,161, különbség −0,044
metaai C1: küszöb 0,202, hullámok között 0,211, különbség +0,009
googleai A1: küszöb 0,199, hullámok között 0,032, különbség −0,167
metaai R2: küszöb 0,196, hullámok között 0,041, különbség −0,155
gemini X1: küszöb 0,193, hullámok között 0,103, különbség −0,090
perplexity D2: küszöb 0,190, hullámok között 0,179, különbség −0,011
googleai D1: küszöb 0,188, hullámok között 0,000, különbség −0,188
gemini B2: küszöb 0,187, hullámok között 0,223, különbség +0,036
gemini D2: küszöb 0,183, hullámok között 0,147, különbség −0,035
gemini X3: küszöb 0,182, hullámok között 0,166, különbség −0,017
claude R2: küszöb 0,182, hullámok között 0,205, különbség +0,024
chatgpt X4: küszöb 0,180, hullámok között 0,163, különbség −0,017
perplexity C1: küszöb 0,169, hullámok között 0,241, különbség +0,072
googleai D2: küszöb 0,167, hullámok között 0,005, különbség −0,161
chatgpt X3: küszöb 0,167, hullámok között 0,156, különbség −0,010
claude D2: küszöb 0,163, hullámok között 0,166, különbség +0,003
chatgpt R4: küszöb 0,159, hullámok között 0,171, különbség +0,012
perplexity A2: küszöb 0,158, hullámok között 0,184, különbség +0,026
gemini X2: küszöb 0,153, hullámok között 0,160, különbség +0,008
claude X3: küszöb 0,127, hullámok között 0,139, különbség +0,012
metaai X3: küszöb 0,099, hullámok között 0,183, különbség +0,083
googleai R1: küszöb 0,094, hullámok között 0,007, különbség −0,087
perplexity B2: küszöb 0,087, hullámok között 0,113, különbség +0,025
googleai C1: küszöb 0,083, hullámok között 0,005, különbség −0,079
claude X4: küszöb 0,076, hullámok között 0,092, különbség +0,016
chatgpt X1: küszöb 0,068, hullámok között 0,066, különbség −0,002
googleai R3: küszöb 0,064, hullámok között 0,038, különbség −0,026
googleai B2: küszöb 0,036, hullámok között 0,005, különbség −0,030

Minden itteni vonal össze van vetve a floor-test-cells-08284347.csv fájllal, a lenti letöltés első fájljával, legutóbb 2026. szeptember 3-án: mind a 103 egyezik. A jelölők 2,4 és 3,6 px-esek a pontábrákon szokásos 8 px helyett, mert 103 vonal a szokásos méretű jelölőkkel más képet adna; minden vonal értékei az ábra alatti listában is szerepelnek, amely nem jelenik meg, de a képernyőolvasók felolvassák. Az ellenpéldák nagyobbak a többinél; ez az egyetlen hely, ahol ez az ábra szándékosan nagyobb súlyt ad a kisebbségnek, mint a többségnek.

Az alábbi sorok közül négy „az összesítőből”magyarázat: az összesítőből Ezen az oldalon: az összesítő fájlból kiolvasott, nem a CSV-fájlokból újraszámolt érték. Látható, de nem ellenőrizhető. bezárás jelölést visel Indoklás: Hogy Ön lássa, mely részek származnak az összesítő fájlból, és nem ellenőrizhetők. Forrás: ez az oldal, 2026. szeptember 4. bezárás. Ezek az összesítő fájlból kiolvasott értékek, nem pedig a két CSV egyikéből újraszámoltak; láthatja tehát, melyek ezek, de nem tudja ellenőrizni őket. Minden jelöletlen érték a közzétett sorokból újraszámolható magyarázat: újraszámolható Ezen az oldalon: az értéket bárki újraszámolhatja a közzétett CSV-sorokból. bezárás, és a tanulmány oldala leírja a számítás menetét, ha az többet jelent egy oszlop megszámolásánál. Az 1. szakasz két részhalmaza nem szerepel az alábbi sorok között: az elsőhöz a tanulmány oldala adja meg a menetet, a második pedig azok a cellák, amelyeknél a cellafájl within_pairs oszlopa legalább 2.

Hullámok: 7 Adatfelvételi hullámok: külön alkalmak, amelyekben újra feltettem a kérdéseket. Nem minden hullám tartalmazza az összes kérdést.Újraszámolható. floor-test-gap-pairs-08284347.csv: Számolja meg a wave_a és a wave_b oszlop különböző értékeit együtt. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.waves bezárás2026-07-04 – 2026-08-25, első rögzítések
Kérdések: 18 A válaszmotoroknak feltett kérdések, mind ugyanarról a cégről.Újraszámolható. floor-test-cells-08284347.csv: Számolja meg az intent_id oszlop különböző értékeit. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.questions bezárás
Összehasonlított cellák: 111 Cellák (egy kérdés egy válaszmotornál), amelyek a hullámok között összevethetők voltak, ismételhetőségi küszöbbel vagy anélkül.Újraszámolható. floor-test-cells-08284347.csv: Számolja meg a sorokat. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.cellsCompared bezárás
Cellák ismételhetőségi küszöbbel: 103 Cellák, amelyekben egy alkalmon belül elég ismételt válasz volt ahhoz, hogy mérhető legyen, mennyire ingadoznak a válaszaik maguktól: ez az ismételhetőségi küszöbük.Újraszámolható. floor-test-cells-08284347.csv: Számolja meg azokat a sorokat, amelyekben a noise_sim_text nem üres. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.cellsWithFloor bezárás
Kizárt cellák, megváltozott kérdés indoklás: Tizenkét cellát kihagytam, mert a kérdésük megfogalmazása a hullámok között megváltozott, és két különböző kérdésre adott válaszok összevetése éppen azt a változást hozná létre, amelyet ez a vizsgálat keres. Az elemzéssel együtt született, 2026. augusztus 22-én, amikor a hét hullámból hat már rögzítve volt. Az okot a tanulmány oldalán jegyeztem fel, 2026. augusztus 31-én. bezárás: 12 Cellák, amelyeket kizártam, mert a kérdés megfogalmazása megváltozott a hullámok között.Az összesítőből átvéve. Helye: floor-test-summary-08284347.json, a cells_excluded_question_changed kulcs. A közzétett sorokból nem számolható újra. FROM_SUMMARY.cellsExcludedQuestionChanged bezárásaz összesítőből
Hullámon belüli hasonlóság, az ismételhetőségi küszöb: medián indoklás: Az ismételhetőségi küszöb a cella ismétléspárjain mért hasonlóságok mediánja, így ahol egy cellának három vagy több párja van (42 cella), egyetlen szokatlan pár nem mozdítja el messzire. Az egyetlen párra épülő küszöb, amilyen 38 cellának van, bizonytalan, bármilyen középértéket használnék is, ezért az oldal külön is közli a legalább két párral rendelkező 65 cellát. Az elemzéssel együtt született, 2026. augusztus 22-én, amikor a hét hullámból hat már rögzítve volt. A magyarázat 2026. október 30-án készült. bezárás 0,266 A jellemző ismételhetőségi küszöb: mennyire hasonlít egymásra két válasz ugyanarra a kérdésre egy alkalmon belül, 0-tól (nincs közös tartalmi token) 1-ig (azonos megfogalmazás).Újraszámolható. floor-test-cells-08284347.csv: Vegye a noise_sim_text mediánját az ismételhetőségi küszöbbel rendelkező sorokon, három tizedesre kerekítve. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.noiseMedian bezáráskvartilisek: 0,200 A cellák negyedének ennél kisebb az ismételhetőségi küszöbe.Újraszámolható. floor-test-cells-08284347.csv: Vegye a noise_sim_text alsó kvartilisét az ismételhetőségi küszöbbel rendelkező sorokon, inkluzív módszerrel. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.noiseQ25 bezárás és 0,321 A cellák negyedének ennél nagyobb az ismételhetőségi küszöbe.Újraszámolható. floor-test-cells-08284347.csv: Vegye a noise_sim_text felső kvartilisét az ismételhetőségi küszöbbel rendelkező sorokon, inkluzív módszerrel. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.noiseQ75 bezárás
Hullámok közötti hasonlóság: medián 0,183 Különböző hullámokból származó válaszok jellemző hasonlósága, ugyanazon a 0-tól 1-ig terjedő skálán. Kisebb az ismételhetőségi küszöbnél: a válaszok eltértek.Újraszámolható. floor-test-cells-08284347.csv: Vegye a drift_sim_text mediánját az összes soron. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.betweenWaveMedian bezárás
A különbség mediánja: −0,065 A jellemző változás: a hullámok közötti hasonlóság mínusz a cella saját ismételhetőségi küszöbe. A negatív érték azt jelenti, hogy a válaszok kevésbé hasonlók, mint ami a zajjal egymagában megmagyarázható.Újraszámolható. floor-test-cells-08284347.csv: Vegye a delta_text mediánját az ismételhetőségi küszöbbel rendelkező sorokon. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.medianDelta bezárásaz összesítőbőla pontbecslés újraszámolható; a 95 Az a százalékos szint, amelyen az intervallumokat megadtam: az elemzéshez választott érték, egyik közzétett fájl sem tartalmazza.Az elemzéshez választott érték. Nem mért érték. FROM_SUMMARY.confidenceLevelPct bezárás százalékos intervallum magyarázat: 95 százalékos intervallum Ezen az oldalon: 95 százalékos konfidenciaintervallum, amelyet a kérdések sokszori bootstrap-újramintavételezésével számoltam ki. Az összesítő fájlból kiolvasott érték, a közzétett sorokból nem számolható újra. bezárás (−0,092 Az intervallum alsó határa a jellemző változás körül.Az összesítőből átvéve. Helye: floor-test-summary-08284347.json, a delta_ci_clustered_by_question kulcs lo mezője, három tizedesre kerekítve. A közzétett sorokból nem számolható újra. FROM_SUMMARY.deltaCiLo bezárás és −0,030 Az intervallum felső határa a jellemző változás körül.Az összesítőből átvéve. Helye: floor-test-summary-08284347.json, a delta_ci_clustered_by_question kulcs hi mezője, három tizedesre kerekítve. A közzétett sorokból nem számolható újra. FROM_SUMMARY.deltaCiHi bezárás között) a 18 Az újramintavételezésnél a kérdéseket egészben húzzák újra, így az ugyanarra a kérdésre adott válaszok nem számítanak független bizonyítéknak.Az összesítőből átvéve. Helye: floor-test-summary-08284347.json, a delta_ci_clustered_by_question kulcs n_clusters mezője. A közzétett sorokból nem számolható újra. FROM_SUMMARY.questionClusters bezárás kérdés szerint csoportosított Indoklás: Az ugyanahhoz a kérdéshez tartozó cellák nem független megfigyelések, és az az intervallum, amelyet úgy számolnának ki, mintha azok volnának, szűkebb lenne, mint amennyit az adatok megengednek. Forrás: a tanulmány oldala, 2026. augusztus 31. bezárás bootstrap-pel számított, 2000 Az elemzés beállítása, ahogy az összesítő fájlban szerepel: hányszor húztam újra az adatokat az intervallumhoz.Az összesítőből átvéve. Helye: floor-test-summary-08284347.json, a delta_ci_clustered_by_question kulcs reps mezője. A közzétett sorokból nem számolható újra. FROM_SUMMARY.bootstrapReplicates bezárás bootstrap-minta indoklás: Egy intervallum végpontjai a legszélsőségesebb újramintavételekből olvashatók le, ezért sokkal több újramintavétel kell hozzájuk, mint egy átlaghoz. A szokásos ajánlás legalább ezer, és a 2000 ennek a kétszerese. Az elemzéssel együtt született, 2026. augusztus 22-én, amikor a hét hullámból hat már rögzítve volt. A magyarázat 2026. október 30-án készült. bezárás, kezdőérték indoklás: A kezdőérték előre meghatározza a véletlen húzásokat, így ugyanannak a kódnak az újrafuttatása pontosan a közzétett intervallumot és a véletlen alapján várható darabszámot adja. Ezt bármely állandó szám biztosítaná; a 0 egyszerűen az első. Az elemzéssel együtt született, 2026. augusztus 22-én, amikor a hét hullámból hat már rögzítve volt. A magyarázat 2026. október 30-án készült. bezárás 0 Az elemzés beállítása, ahogy az összesítő fájlban szerepel: a véletlengenerátor kezdőértéke, hogy ugyanaz az újramintavételezés pontosan megismételhető legyen.Az összesítőből átvéve. Helye: floor-test-summary-08284347.json, a seed mező a delta_ci_clustered_by_question, a permutation_null és a within_cell_gap_test.ci_clustered_by_question kulcsban; mindhárom ugyanazt az értéket tartalmazza. A közzétett sorokból nem számolható újra. FROM_SUMMARY.seed bezárás (angolul seed), és nem számolható újra
Saját küszöbüknél kisebb hasonlóságú cellák: 103 Cellák, amelyekben egy alkalmon belül elég ismételt válasz volt ahhoz, hogy mérhető legyen, mennyire ingadoznak a válaszaik maguktól: ez az ismételhetőségi küszöbük.Újraszámolható. floor-test-cells-08284347.csv: Számolja meg azokat a sorokat, amelyekben a noise_sim_text nem üres. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.cellsWithFloor bezárás-ból 85 Cellák, amelyeknek a válaszai a hullámok között jobban eltérnek, mint amennyire egy alkalmon belül maguktól ingadoznak.Újraszámolható. floor-test-cells-08284347.csv: Adja össze a text_moved_beyond_noise értékeit az ismételhetőségi küszöbbel rendelkező sorokban. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.moved bezárásaz összesítőbőlpusztán véletlenszerűen 40,9 Ha a cellák csak véletlenül térnének el, nagyjából ekkora hányaduk tűnne eltérőnek.Az összesítőből átvéve. Helye: floor-test-summary-08284347.json, a permutation_null kulcs expected_pct_by_chance mezője. A közzétett sorokból nem számolható újra. FROM_SUMMARY.expectedByChancePct bezárás százalék volna várható, permutációs referenciaeloszlás, 5000 Az elemzés beállítása, ahogy az összesítő fájlban szerepel: hány véletlen permutációt számoltam ki a véletlennel való összevetéshez.Az összesítőből átvéve. Helye: floor-test-summary-08284347.json, a permutation_null kulcs replicates mezője. A közzétett sorokból nem számolható újra. FROM_SUMMARY.permutationReplicates bezárás permutáció indoklás: 5000 permutációnál a próba által kimutatható legkisebb p-érték 5001-ből 1, körülbelül 0,0002, és egyetlen permutáció sem érte el a megfigyelt darabszámot. Ezért az oldal csak annyit közöl, hogy p kisebb annál a legkisebb értéknél, amely 5000 permutációval egyáltalán kimutatható: ez a próba határa, nem mért érték; több permutáció lejjebb vinné, de bizonyítékot nem adna hozzá. Az elemzéssel együtt született, 2026. augusztus 22-én, amikor a hét hullámból hat már rögzítve volt. A magyarázat 2026. október 30-án készült. bezárás, kezdőérték 0 Az elemzés beállítása, ahogy az összesítő fájlban szerepel: a véletlengenerátor kezdőértéke, hogy ugyanaz az újramintavételezés pontosan megismételhető legyen.Az összesítőből átvéve. Helye: floor-test-summary-08284347.json, a seed mező a delta_ci_clustered_by_question, a permutation_null és a within_cell_gap_test.ci_clustered_by_question kulcsban; mindhárom ugyanazt az értéket tartalmazza. A közzétett sorokból nem számolható újra. FROM_SUMMARY.seed bezárás, p kisebb annál a legkisebb értéknél, amely 5000 Az elemzés beállítása, ahogy az összesítő fájlban szerepel: hány véletlen permutációt számoltam ki a véletlennel való összevetéshez.Az összesítőből átvéve. Helye: floor-test-summary-08284347.json, a permutation_null kulcs replicates mezője. A közzétett sorokból nem számolható újra. FROM_SUMMARY.permutationReplicates bezárás permutációval egyáltalán kimutatható
Egy cellán belül: hosszabb időköz mínusz rövidebb időköz: −0,047 Egy cellán belül: mennyivel kevésbé hasonló a válasz a hosszabb időköznél, mint a rövidebbnél. A jellemző (medián) különbség, a 0-tól 1-ig terjedő skálán.Újraszámolható. floor-test-gap-pairs-08284347.csv: Minden ilyen cellában vonja ki a legrövidebb gap_days melletti across_wave_sim_text értéket a leghosszabb melletti értékből (holtverseny esetén a fájlban elsőként szereplő sort véve), négy tizedesre kerekítve; a cellák mediánja négy tizedesre −0,0465, ezt kerekítse három tizedesre. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.withinCellMedian bezárásaz összesítőbőla pontbecslés és mindkét darabszám újraszámolható, 108 Cellák, amelyeket legalább két különböző időközzel mértem, így egy hosszabb és egy rövidebb időköz összevethető.Újraszámolható. floor-test-gap-pairs-08284347.csv: Csoportosítsa a sorokat intent_id és engine szerint, és számolja meg azokat a csoportokat, amelyekben a gap_days legalább két különböző értéket vesz fel. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.withinCellN bezárás cellán, amely nem a 103 Cellák, amelyekben egy alkalmon belül elég ismételt válasz volt ahhoz, hogy mérhető legyen, mennyire ingadoznak a válaszaik maguktól: ez az ismételhetőségi küszöbük.Újraszámolható. floor-test-cells-08284347.csv: Számolja meg azokat a sorokat, amelyekben a noise_sim_text nem üres. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.cellsWithFloor bezárás, és nem is a 111 Cellák (egy kérdés egy válaszmotornál), amelyek a hullámok között összevethetők voltak, ismételhetőségi küszöbbel vagy anélkül.Újraszámolható. floor-test-cells-08284347.csv: Számolja meg a sorokat. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.cellsCompared bezárás részhalmaza; a 95 Az a százalékos szint, amelyen az intervallumokat megadtam: az elemzéshez választott érték, egyik közzétett fájl sem tartalmazza.Az elemzéshez választott érték. Nem mért érték. FROM_SUMMARY.confidenceLevelPct bezárás százalékos intervallum indoklás: A 95 százalék a szokásos szint egy ilyen intervallumnál, így ugyanúgy olvasható, mint más közzétett vizsgálatok intervallumai. Az oldal azért közli a becslés mellett, hogy látszódjon, mennyire mozoghat a becslés, és nem olyan határként, amelyen valami megfelel vagy elbukik. Az elemzéssel együtt született, 2026. augusztus 22-én, amikor a hét hullámból hat már rögzítve volt. A magyarázat 2026. október 30-án készült. bezárás (−0,058 Az intervallum alsó határa a cellán belüli különbség körül.Az összesítőből átvéve. Helye: floor-test-summary-08284347.json, a within_cell_gap_test kulcs ci_clustered_by_question.lo mezője, három tizedesre kerekítve. A közzétett sorokból nem számolható újra. FROM_SUMMARY.withinCellCiLo bezárás és −0,031 Az intervallum felső határa a cellán belüli különbség körül.Az összesítőből átvéve. Helye: floor-test-summary-08284347.json, a within_cell_gap_test kulcs ci_clustered_by_question.hi mezője, három tizedesre kerekítve. A közzétett sorokból nem számolható újra. FROM_SUMMARY.withinCellCiHi bezárás között) nem. 108 Cellák, amelyeket legalább két különböző időközzel mértem, így egy hosszabb és egy rövidebb időköz összevethető.Újraszámolható. floor-test-gap-pairs-08284347.csv: Csoportosítsa a sorokat intent_id és engine szerint, és számolja meg azokat a csoportokat, amelyekben a gap_days legalább két különböző értéket vesz fel. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.withinCellN bezárás-ból 87 Cellák, amelyekben a válasz a hosszabb időköznél kevésbé hasonló, mint a rövidebbnél.Újraszámolható. floor-test-gap-pairs-08284347.csv: Számolja meg e különbségek közül a negatívakat. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.withinCellLessAlike bezárás a hosszabb időköznél kevésbé hasonló, 21 Cellák, amelyekben a válasz a hosszabb időköznél hasonlóbb: az ellenkező irány.Újraszámolható. floor-test-gap-pairs-08284347.csv: Számolja meg e különbségek közül a pozitívakat. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.withinCellMoreAlike bezárás hasonlóbb, és a holtverseny esetén alkalmazott szabályból magyarázat: holtverseny esetén alkalmazott szabály Ezen az oldalon: az a szabály, amely eldönti, melyik hullámpár számít a cella legrövidebb vagy leghosszabb időközének, ha két pár időköze napokban mérve azonos. bezárás adódó tartomány túlnyúlik az intervallum egyik végén: −0,042 A legenyhébb eredmény öt észszerű, holtverseny esetén alkalmazott szabály közül.Újraszámolható. floor-test-gap-pairs-08284347.csv: Számolja újra a cellán belüli mediánt az adatkészlet README-fájljában leírt öt szabály mindegyikével (a fájlban első vagy utolsó sor, a holtversenyben álló sorok közül a leghasonlóbb vagy a legkevésbé hasonló, illetve ezek átlaga); ez az a medián, amely a legközelebb van a nullához. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.tieBreakLo bezárás és −0,066 A legerősebb eredmény ugyanezen öt, holtverseny esetén alkalmazott szabály közül.Újraszámolható. floor-test-gap-pairs-08284347.csv: Ugyanez az öt medián; ez az, amely a legtávolabb van a nullától. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.tieBreakHi bezárás között, valamint 108 Cellák, amelyeket legalább két különböző időközzel mértem, így egy hosszabb és egy rövidebb időköz összevethető.Újraszámolható. floor-test-gap-pairs-08284347.csv: Csoportosítsa a sorokat intent_id és engine szerint, és számolja meg azokat a csoportokat, amelyekben a gap_days legalább két különböző értéket vesz fel. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.withinCellN bezárás-ból 83 Mind az öt szabály szerint legalább ennyi cellában kevésbé hasonló a válasz a hosszabb időköznél.Újraszámolható. floor-test-gap-pairs-08284347.csv: Minden szabálynál számolja meg a negatív különbségeket; ez az öt szám közül a legkisebb. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.tieBreakCountLo bezárás és 93 Mind az öt szabály szerint legfeljebb ennyi cellában kevésbé hasonló a válasz a hosszabb időköznél.Újraszámolható. floor-test-gap-pairs-08284347.csv: Ugyanez az öt szám; ez a legnagyobb. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.tieBreakCountHi bezárás között

A válaszmotorok egyenetlenül vannak képviselve. A legjobban képviselt válaszmotornak 18 Ennek a válaszmotornak az összevethető cellái a cellafájl összes során. Ebből csak az látszik, mit rögzítettem; a válaszmotorok összehasonlítására nem alkalmas.Újraszámolható. floor-test-cells-08284347.csv: Számolja meg ennek a válaszmotornak a sorait. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. ENGINE_CELLS.metaai bezárás cellája van, a legkevésbé képviseltnek 5 Ennek a válaszmotornak az összevethető cellái a cellafájl összes során. Ebből csak az látszik, mit rögzítettem; a válaszmotorok összehasonlítására nem alkalmas.Újraszámolható. floor-test-cells-08284347.csv: Számolja meg ennek a válaszmotornak a sorait. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. ENGINE_CELLS.mistral bezárás. Az alábbi lista mind a 111 Cellák (egy kérdés egy válaszmotornál), amelyek a hullámok között összevethetők voltak, ismételhetőségi küszöbbel vagy anélkül.Újraszámolható. floor-test-cells-08284347.csv: Számolja meg a sorokat. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.cellsCompared bezárás összehasonlítható cellát számolja, a 8 Ismételhetőségi küszöb nélküli cellák, mert túl kevés ismételt válasz volt. Az okkal együtt a fájlban maradnak.Újraszámolható. floor-test-cells-08284347.csv: Számolja meg azokat a sorokat, amelyekben a noise_sim_text üres. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.cellsWithoutFloor bezárás küszöb nélküli cellát is, ezért összege nem a 103 Cellák, amelyekben egy alkalmon belül elég ismételt válasz volt ahhoz, hogy mérhető legyen, mennyire ingadoznak a válaszaik maguktól: ez az ismételhetőségi küszöbük.Újraszámolható. floor-test-cells-08284347.csv: Számolja meg azokat a sorokat, amelyekben a noise_sim_text nem üres. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.cellsWithFloor bezárás, amelyre a fenti arányok vonatkoznak. A tanulmány oldala ugyanezt a listát a 103 Cellák, amelyekben egy alkalmon belül elég ismételt válasz volt ahhoz, hogy mérhető legyen, mennyire ingadoznak a válaszaik maguktól: ez az ismételhetőségi küszöbük.Újraszámolható. floor-test-cells-08284347.csv: Számolja meg azokat a sorokat, amelyekben a noise_sim_text nem üres. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.cellsWithFloor bezárás cellára közli, ezért ott a mistral-nak nincs sora, és három másik válaszmotornál eggyel kevesebb szerepel. Akárhogy is, ez annak a számlálása, amit a rögzítés éppen hozott Indoklás: A lista mindent megszámol, amit történetesen rögzítettem, a 8 ismételhetőségi küszöb nélküli cellát is; a válaszmotorokat nem hasonlítja össze. Forrás: ez az oldal, 2026. augusztus 31. bezárás, nem a válaszmotorok összehasonlítása.

metaai: 18Ennek a válaszmotornak az összevethető cellái a cellafájl összes során. Ebből csak az látszik, mit rögzítettem; a válaszmotorok összehasonlítására nem alkalmas.Újraszámolható. floor-test-cells-08284347.csv: Számolja meg ennek a válaszmotornak a sorait. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. ENGINE_CELLS.metaai bezárás cella
gemini: 16Ennek a válaszmotornak az összevethető cellái a cellafájl összes során. Ebből csak az látszik, mit rögzítettem; a válaszmotorok összehasonlítására nem alkalmas.Újraszámolható. floor-test-cells-08284347.csv: Számolja meg ennek a válaszmotornak a sorait. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. ENGINE_CELLS.gemini bezárás cella
copilot: 16Ennek a válaszmotornak az összevethető cellái a cellafájl összes során. Ebből csak az látszik, mit rögzítettem; a válaszmotorok összehasonlítására nem alkalmas.Újraszámolható. floor-test-cells-08284347.csv: Számolja meg ennek a válaszmotornak a sorait. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. ENGINE_CELLS.copilot bezárás cella
claude: 16Ennek a válaszmotornak az összevethető cellái a cellafájl összes során. Ebből csak az látszik, mit rögzítettem; a válaszmotorok összehasonlítására nem alkalmas.Újraszámolható. floor-test-cells-08284347.csv: Számolja meg ennek a válaszmotornak a sorait. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. ENGINE_CELLS.claude bezárás cella
chatgpt: 16Ennek a válaszmotornak az összevethető cellái a cellafájl összes során. Ebből csak az látszik, mit rögzítettem; a válaszmotorok összehasonlítására nem alkalmas.Újraszámolható. floor-test-cells-08284347.csv: Számolja meg ennek a válaszmotornak a sorait. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. ENGINE_CELLS.chatgpt bezárás cella
perplexity: 12Ennek a válaszmotornak az összevethető cellái a cellafájl összes során. Ebből csak az látszik, mit rögzítettem; a válaszmotorok összehasonlítására nem alkalmas.Újraszámolható. floor-test-cells-08284347.csv: Számolja meg ennek a válaszmotornak a sorait. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. ENGINE_CELLS.perplexity bezárás cella
googleai: 12Ennek a válaszmotornak az összevethető cellái a cellafájl összes során. Ebből csak az látszik, mit rögzítettem; a válaszmotorok összehasonlítására nem alkalmas.Újraszámolható. floor-test-cells-08284347.csv: Számolja meg ennek a válaszmotornak a sorait. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. ENGINE_CELLS.googleai bezárás cella
mistral: 5Ennek a válaszmotornak az összevethető cellái a cellafájl összes során. Ebből csak az látszik, mit rögzítettem; a válaszmotorok összehasonlítására nem alkalmas.Újraszámolható. floor-test-cells-08284347.csv: Számolja meg ennek a válaszmotornak a sorait. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. ENGINE_CELLS.mistral bezárás cella

Az ábrán összehasonlított hullámokat teljes egészében a tanulmány mutatja be.

A mérőeszköz

4 · Az ismételhetőségi vizsgálat

A hasonlóság a tartalmi tokenek halmazain számolt Jaccard-együttható indoklás: Itt a Jaccard-együttható a két válaszban közös szavak számát osztja el az összes olyan szó számával, amely bármelyikben előfordul, így azt méri, mennyire fedi egymást a megfogalmazás, nem azt, hogy a válaszok egyetértenek-e. A tanulmány oldalán szereplő, közzétett stabilitásvizsgálatok közül kettő ugyanezt az átfedési mérőszámot közli, ott a válaszokban idézett domainekre és forrásokra, és elég egyszerű ahhoz, hogy bárki alkalmazhassa a saját rögzítéseire. Az elemzéssel együtt született, 2026. augusztus 22-én, amikor a hét hullámból hat már rögzítve volt. A magyarázat 2026. október 30-án készült. bezárás: kisbetűsítés, az URL-ek előzetes eltávolítása, a legfeljebb két karakterből álló tokenek és a stopszavak elhagyása indoklás: Ezek a szokásos első lépések, ha a szövegeket szóhalmazként hasonlítják össze. Nélkülük a minden válaszban előforduló szavak, például az angol „the” vagy „and”, két választ hasonlóbbnak mutatnának, mint amilyenek. Az elemzéssel együtt született, 2026. augusztus 22-én, amikor a hét hullámból hat már rögzítve volt. A magyarázat 2026. október 30-án készült. bezárás. Ha mindkét halmaz üres, az összehasonlítás 1 helyett semmit sem ad vissza Indoklás: Két olyan ismétlés, amelyben nem marad tartalmi szó, nem bizonyítja az egyezést. Forrás: az adatkészlet README-fájlja, 2026. augusztus 31. bezárás, mert két olyan ismétlés, amelyben nem marad tartalmi token, nem bizonyítja az egyezést; a pár ezért kiesik, és nem számít tökéletes egyezésnek. Egy tipikus cella küszöbe két ismétléspárra épül; a tartomány 0 A legkevesebb ismétléspár a cellafájl bármely sorában. Az a cella, amelynek egy sincs, nem kap ismételhetőségi küszöböt, és kimarad.Újraszámolható. floor-test-cells-08284347.csv: Vegye a within_pairs legkisebb értékét az összes soron. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.withinPairsMin bezárás és 18 A legtöbb ismétléspár, amelyen egy cella ismételhetőségi küszöbe alapul.Újraszámolható. floor-test-cells-08284347.csv: Vegye a within_pairs legnagyobb értékét az összes soron. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.withinPairsMax bezárás között van, és az a cella, amelynek egy sincs, nem kap küszöböt, és kimarad Indoklás: Az ismétléspár nélküli cellának nincs ismételhetőségi küszöbe, amelyhez mérni lehetne. Forrás: ez az oldal, 2026. augusztus 31. bezárás.

Egy megfigyelés kulcsa a futtatásból, a kérdésből, a válaszmotorból, az ismétlés sorszámából és egy normalizált időbélyegből áll; a kulcsból hash-érték készül, és ami ütközik, az egyetlen megfigyelés. A normalizálás csak a formázást egységesíti, és minden számjegyet megőriz egészen az ezredmásodpercig, így egy rögzítés két exportja nem válik két megfigyeléssé, két, egymástól egy ezredmásodpercnyire készült rögzítés viszont kettő marad. Tűréshatár nincs Indoklás: Hogy egy rögzítés két exportja ne váljon két megfigyeléssé, két, egymástól egy ezredmásodpercnyire készült rögzítés viszont kettő maradjon. Forrás: az adatkészlet README-fájlja, 2026. augusztus 31. bezárás. E kulcs szerint az archívum 9692 Megfigyelések a rögzítési archívumban, egy deduplikációs kulcs szerint számolva.Nem ellenőrizhető. A nem nyilvános rögzítési archívumomból származik. ARCHIVE.observations bezárás megfigyelést tartalmazott 28 Futtatások, amelyekből ezek a megfigyelések származnak.Nem ellenőrizhető. A nem nyilvános rögzítési archívumomból származik. ARCHIVE.observationRuns bezárás futtatásból, amikor 2026. augusztus 29-én beolvastam; egy előző napi számlálás, amelyet a futtatás, a rekordazonosító és a rögzítés ideje szerinti kulccsal végeztem, egy kisebb archívum 27 Futtatások ebben a kisebb archívumban.Nem ellenőrizhető. A nem nyilvános rögzítési archívumomból származik. ARCHIVE.priorRuns bezárás futtatásából 5214 Ugyanez a számlálás egy nappal korábban, más kulccsal, egy kisebb archívumon.Nem ellenőrizhető. A nem nyilvános rögzítési archívumomból származik. ARCHIVE.priorObservations bezárás megfigyelést adott. Két észszerű kulcs Indoklás: Két észszerű kulcs két különböző nevezőt adott. Forrás: ez az oldal, 2026. október 17. bezárás, két nevező; ezért áll itt a kulcs kiírva, ahelyett, hogy egy szám hallgatólagosan tartalmazná.

6 fájlCC BY 4.0 · 273 KB · ellenőrző összeggel

floor-test-cells-08284347.csv

cellánként egy sor (kérdés × válaszmotor)

méret: 13 KB
tartalom: 111 sor
sha256: 691a5a7c59fcb3644806b2ec81610dca5c588a841f859c3fc057baf46c8f018b

floor-test-gap-pairs-08284347.csv

hullámpáronként egy sor, éppen ez kell a cellán belüli vizsgálathoz

méret: 81 KB
tartalom: 957 sor
sha256: 909fc37cbbc49c4fa1198b4af5c89f30e01c8cd5072a894e4a6d390d52e3bd2c

floor-test-summary-08284347.json

az összesített számok, minden kezdőértékkel és mintaszámmal

méret: 11 KB
tartalom: 24 felső szintű kulcs
sha256: cf21d8a97360246bd52f9cfc6a8be5f00f9d7b7e08e0592a91c97856c1d5394b

codebook-08284347.json

a kódkönyv: mindkét CSV minden oszlopa típussal, mértékegységgel, a README szavaival adott jelentéssel és a megengedett értékekkel

méret: 17 KB
tartalom: mindkét CSV, oszlopról oszlopra
sha256: 213319658a1160eae8cf6e6eeb4c4263eb9110041aa3b94b8c4d1d863bd104bf

floor-test-cells-08284347.sav

ugyanez a táblázat SPSS-hez, a CSV-ből előállítva

méret: 24 KB
tartalom: 111 sor
sha256: 93104056662993a38b6ffa9fd5607684711e4eb139fc8c2becfc61b351b9be0f

floor-test-gap-pairs-08284347.sav

ugyanez a táblázat SPSS-hez, a CSV-ből előállítva

méret: 125 KB
tartalom: 957 sor
sha256: 60bcac157701d299db2b7480c6632b5bb3e491960901da3e4f90f20df94d47bf

Felhasználhatók; a forrás feltüntetése kötelező, és a beilleszthető hivatkozási sor a README.md fájlban található, amely az oszlopok meghatározását, a hasonlósági függvényt, a deduplikációs kulcsot és a cellán belüli párosítási szabályt is tartalmazza. A kódkönyv oszlopról oszlopra leírja a két CSV-t, és mindegyik .sav-fájl ugyanaz a táblázat SPSS-hez, a saját CSV-jéből előállítva; egyik sem tesz hozzá új számot. A három adatfájl nem egyforma súlyú. A számok a két CSV-ből újraszámolhatók: az itt közöltek közül tizennégy 2026. szeptember 1-jei újraszámolása a cellafájlból mind a tizennégy esetben egyezést adott, a cellán belüli időköz-vizsgálat újraszámolása pedig szeptember 3-án a hullámpárfájlból történt. Az összesítő a többit közli, de a számítás menetét nem mutatja meg, és hat dolog belőle kiolvasva szerepel, és nincs vele összevetve: a permutációs referenciaeloszlás, a tizenkét cellás lefedettségi ellenőrzés, a két bootstrap-pel számított intervallum, a kizárt cellák száma, a cellákba összevont rekordok száma és a válasz hiánya miatt kiesett ismétlések száma. Az ellenőrző program számai az archívumból származnak, amely nincs nyilvánosságra hozva. A tanulmány oldala ezeket a számokat egyenként azonosítja, a változásnapló pedig rögzíti a helyesbítéseket.

A rögzítések egy általam írt Chrome-böngészőbővítményből származnak. Nincs közzétéve és nincs belinkelve, ugyanazért Indoklás: Egy közzétett kérdéssor már nem azt méri, amire készült. Forrás: ez az oldal, 2026. augusztus 31. bezárás, amiért a kérdéssor és a pontozás szintleírásai sem.

Az oldal számai, forrással.

Újraszámolható, minden buildnél ellenőrizve (59): 18, 103, 85, 103, 43, 33, 65, 52, 0,047, 108, 87, 108, 37, −0,042, −0,066, 108, 83, 93, 7, 18, 111, 103, 0,266, 0,200, 0,321, 0,183, −0,065, 103, 85, −0,047, 108, 103, 111, 108, 87, 21, −0,042, −0,066, 108, 83, 93, 18, 5, 111, 8, 103, 103, 18, 16, 16, 16, 16, 12, 12, 5, 0, 18, 103, 85
Az összesítőből átvéve (12): 12, −0,092, −0,030, 18, 2000, 0, 40,9, 5000, 0, 5000, −0,058, −0,031
Az elemzéshez választott értékek (2): 95, 95
A nem nyilvános rögzítési archívumomból (8): 768, 9692, 28, 27, 5214, 26, 7,2, 24,1

5 · Amit a mérőeszközről nem lehet ellenőrizni

Az eszköz nincs nyilvánosságra hozva, így semmi, amit ez az oldal a rögzítések módjáról mond, nem ellenőrizhető kívülről. Két dolog áll emögött, és a második súlyosabb az elsőnél.

Az eszköz nem nyilvános. Ön helyette a kimenetet kapja: a két CSV-t, az összesítőt és ellenőrző összegeiket, valamint a rögzítési protokoll leírását a módszertani oldalon. Hogy az általam leírt protokoll-e az, amelyet az eszköz futtat, azt ezek a fájlok nem tudják eldönteni.

És az eszköz saját története elveszett. A tárolója (repository) pontosan egy commitot tartalmaz, 2026. augusztus 26-i dátummal; minden korábbi elveszett, és nem állítható helyre. A fejlesztés munkadokumentumai megmaradtak, és szintén nem nyilvánosak. Nincs tehát fejlesztési előzmény, amelyre rá lehetne mutatni, és innen nincs mód megmutatni, hogy a július 4-i mérőeszköz azonos volt az augusztus 25-ivel. Ez valódi hézag minden szám mögött ezen az oldalon, és egyedül maga az archívum szűkíti, amely szintén nincs közzétéve.

6 · Az ellenőrző program

Saját archívumomon ellenőrző programot futtatok. Az augusztus 29-i beolvasáskor, a 2136073e buildben, tizenegy ellenőrzést végzett, és ebből négy sikertelen volt. Ez a build nem az, amely ma az archívumban van, és számait azóta senki nem reprodukálta.

Az ellenőrző program kimenete, build `2136073e`. 11 ellenőrzésből 4 sikertelen. A sikertelenek állnak elöl.
Állapot és ellenőrzés	Eredmény
FAIL ambiguous picture references (többértelmű képhivatkozások)	1257
FAIL duplicate frames (kétszer tárolt képkockák)	8
FAIL cross-run references (futtatásokon átnyúló hivatkozások)	26
FAIL coverage (lefedettség)	több ismétlési sorszám, mint amennyit a befagyasztott terv megenged
pass unkeyed observations (kulcs nélküli megfigyelések)	26, cellacím nélkül, két ellenőrzésből kizárva
pass stored pictures re-hash to recorded values (a tárolt képek újra hash-elve a rögzített értékeket adják)	3686 ellenőrizve, 0 nem egyező
pass stored answers re-hash to recorded values (a tárolt válaszok újra hash-elve a rögzített értékeket adják)	9692 ellenőrizve, 0 nem egyező
pass duplicate observation ids (kétszer előforduló megfigyelés-azonosítók)	0
pass proof floor (minimális lefedettség)	a lefedettség ismétlési helyek szerint számolva, így az újrarögzítések nem növelhetik
pass build id (build-azonosító)	konzisztens
pass regression (regressziós ellenőrzés)	sikeres

Két sor értéke 26 Képek, amelyeket egy futtatásban rögzítettem, és egy másik futtatás hivatkozik rájuk.Nem ellenőrizhető. A nem nyilvános rögzítési archívumomból származik. ARCHIVE.crossRunRefs bezárás, és ez nem egyetlen szám kétszer kimondva. A cross-run references azokat a képeket számolja, amelyeket az egyik futtatásban rögzítettem, és egy másik hivatkozik rájuk; az unkeyed observations a cellacím nélküli válaszsorokat. Hogy a két halmaz átfedi-e egymást, azt az ellenőrző program kimenete nem mondja meg, és az archívum, amelyet beolvasott, nincs közzétéve, így innen ez nem dönthető el. Egyik szám sem kerül be ezen a webhelyen egyetlen számba sem.

Egy régebbi build, az f0dd057a, ugyanezen ellenőrzések közül háromban bukott el, és 7,2 Lefedettség, amelyet az ellenőrző program egy régebbi buildje közölt, másképp számolva, ezért nem összevethető.Nem ellenőrizhető. A nem nyilvános rögzítési archívumomból származik. ARCHIVE.olderBuildCoveragePct bezárás százalékos, ellenőrzött képekre vonatkozó lefedettséget közölt; ez a build 24,1 Lefedettség, amelyet az ellenőrző program jelenlegi buildje közöl, ismétlési helyekre vetítve.Nem ellenőrizhető. A nem nyilvános rögzítési archívumomból származik. ARCHIVE.drawSlotCoveragePct bezárás százalékos, ismétlési helyekre vetített lefedettséget közöl. A két szám különböző buildekből származik, és különböző nevezőket mér, ezért nem hasonlítható össze. A hash-ellenőrzések a sértetlenségről adnak eredményt. Tárolás közben semmi nem sérült, ez azonban nem állítás arról, hogy a mérés bármiben helyes lett volna.

7 · A módszer

A pontozás hét dimenziót és kötött futtatási protokollt használ. Bármelyik válaszmotor megnyitása előtt a kérdéssor és az előrejelzéseim befagyasztva kerülnek egy előregisztrációs fájlba; tizenegy ilyen fájl létezik. Pontosan egy fájlban szerepel „registered” állapotsor, egy pedig kifejezetten kimondja, hogy még nincs regisztrálva, és sehol nem visel dátumot; 2026. augusztus 30-ig a tizenegy közül egyik mellett sem volt elemzési terv. A központi kérdéssor és a belső pontozási szintleírások nincsenek közzétéve, mert egy közzétett kérdéssor már nem azt méri, amire készült. A módszer és az előregisztráció formátuma.

8 · Az elemzőeszközök

Az elemzési rész tizennyolc Python-fájlból áll, csak a standard könyvtárra támaszkodva, továbbá egy Makefile-ból; az egyik a statikus webhelyet állítja elő. Nem nyilvános Indoklás: Az archívum, amelyet az elemzőeszközök olvasnak, más cégek márkáiról szóló futtatásokat is tartalmaz, amelyek az ő megbízásuk nélkül készültek, és nem az én tisztem közzétenni azokat. Forrás: ez az oldal, 2026. szeptember 3. bezárás: visszatartom, amíg nem készíthető olyan export, amely csak ezt a futtatást tartalmazza, semmi mást. Az archívum, amelyet beolvas, más cégek márkáiról szóló futtatásokat is tartalmaz, amelyek az ő megbízásuk nélkül készültek, és nem az én tisztem közzétenni őket. Dátumot erre nem adok meg.

Ami eldöntetlen marad

9 · Mond-e ez akkor bármit?

Igen, egy dolgot, a maga korlátain belül. Ebben az archívumban a válaszok az alkalmak között jobban különböztek, mint egy alkalmon belül: a 103 Cellák, amelyekben egy alkalmon belül elég ismételt válasz volt ahhoz, hogy mérhető legyen, mennyire ingadoznak a válaszaik maguktól: ez az ismételhetőségi küszöbük.Újraszámolható. floor-test-cells-08284347.csv: Számolja meg azokat a sorokat, amelyekben a noise_sim_text nem üres. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.cellsWithFloor bezárás cellából 85 Cellák, amelyeknek a válaszai a hullámok között jobban eltérnek, mint amennyire egy alkalmon belül maguktól ingadoznak.Újraszámolható. floor-test-cells-08284347.csv: Adja össze a text_moved_beyond_noise értékeit az ismételhetőségi küszöbbel rendelkező sorokban. A webhely minden buildjénél egy teszt pontosan ezt számolja újra; ha a szám eltér, a build leáll. FLOOR.moved bezárás esetében kisebb volt a hullámok közötti hasonlóság, mint a cella saját ismételhetőségi küszöbe. A mérés tökéletlen, és éppen ezért számít az ismételhetőségi vizsgálat: küszöb nélkül minden különbség változásnak tűnt volna. Az eredmény az ebben az archívumban mért instabilitás bizonyítéka, nem általános becslés arra, mennyire sodródnak a válaszmotorok.

Amit nyitva hagy: hogy a különbség időbeli változás-e vagy az alkalom sajátossága, hiszen ebben az archívumban a kettő egybeesik; hogy érvényes-e más kérdésekre, más cégekre vagy egy másik fiókra; és hogy a megfogalmazás változása annak változása-e, amit a válasz mond; ezt a szöveges hasonlóság nem tudja megállapítani.

A következő vizsgálat ezzel a mérőeszközzel ennek a vizsgálatnak a leggyengébb pontjára válaszul készült. Előregisztrációs tervezete minden rögzítés előtt előre meghatározza a megfogalmazásonként és válaszmotoronként három ismétlést Indoklás: A megfogalmazásonkénti három ismétlés miatt egyetlen cella sem épülhet egyetlen ismétléspárra, a megfogalmazások közzététele pedig lehetővé teszi, hogy bárki ellenőrizze őket. Forrás: ez az oldal, 2026. október 1. bezárás, így egyetlen cella sem épülhet egyetlen ismétléspárra, és a megfogalmazásokat az előregisztrációban teszi közzé, hogy bárki ellenőrizhesse őket. Ez a 2026. augusztus 30-án írt parafrázisvizsgálat, még tervezet, még nincs jóváhagyva, és jelenleg a saját felülvizsgálatának megállapításai miatt szünetel. Amíg nincs jóváhagyva és lefuttatva, terv, nem eredmény. A módszertani oldal közli az állapotát.

A parafrázisvizsgálaton túl a terv megváltozott. A következő munkaszakasz az ezen az oldalon közölt vizsgálatot annak tekinti, ami valójában: feltáró vizsgálat, és mielőtt a mérőeszközt újra használnám, magát a mérőeszközt teszi próbára. Sorrendben:

Ennek a vizsgálatnak a befagyasztása: egy archivált változat, mellette egyszerű lista arról, hogy a webhelyen szereplő számok közül melyik számolható újra a közzétett fájlokból, és melyik nem. Elkészült 2026. október 31-én: a vizsgálat a Zenodón archiválva van, 10.5281/zenodo.23780961 azonosítóval, a lista pedig külön oldalon olvasható. Egy rész nem állítható helyre: az utolsó, 2026. augusztus 25-én kezdődött adatfelvételi hullám válaszai egy laptop lemezével elvesztek, így a legtöbb összevetés későbbi fele nem vezethető le újra magukból a válaszokból. Az archívum leírja, mi veszett el.
Az ismételhetőségi vizsgálat próbára tétele, mielőtt újra megbíznék benne: először szimulált adatokon, aztán olyan ismételt rögzítéseken, amelyeknél semminek sem szabad változnia. Azt mérem, milyen gyakran jelez olyan elmozdulást, amely nincs ott, és milyen gyakran nem veszi észre a szándékosan beépített változást. Amíg ennek eredménye nincs közzétéve, minden új szám feltáró jelölést kap.
Az idő és az alkalom szétválasztása: időszakonként több alkalom, minden válasznál rögzítve a válaszmotor verziója, és a változatlan verzión mért változás külön közölve attól az ugrástól, amely egy új verzió megjelenésekor következik be.
Csak ezután a cégek szélesebb köre: egy megnevezett listáról véletlenszerűen kiválasztott cégek (a lista németországi, ausztriai és svájci cégeket tartalmaz), németül és angolul, böngészőben és a szolgáltatók nyilvános programozói felületein (API) keresztül, minden kör eredményeinek megismerése előtt előregisztrálva, és csak erről a listáról téve állítást. Azt is szeretném, hogy egy tőlem független személy a saját hozzáférésével megismételje egy részét; erre még senki sem vállalkozott.

A terv szerint ennek a munkának minden száma mellett szerepel: a besorolása (feltáró vagy megerősített), a dátuma, a válaszmotorok verziói, az a dátum, amelytől kezdve elavultnak számít, az, hogy megismételte-e valaki más, és a fájlok, amelyekből újraszámolható, vagy ha a válaszok jogszerűen nem tehetők közzé, az, hogyan ismételhető meg. Az első lépés elkészült, fent dátummal; a többiből még semmi sem kezdődött el. Ez terv, nem eredmény; minden lépést itt dátummal jelzek, amint előregisztrálom, és ha egy lépés megváltozik vagy elmarad, azt is itt jelzem.

10 · Kolofon

A saját szakmai beszámolóm: amit mértem, amit a mérés nem tud megmondani Önnek, és a fájlok, amelyeket létrehozott. Rendszer-serif és rendszer-monospace betűtípussal szedve. Látogatottságmérés nincs. Utoljára módosítva: 2026. október 31. A „Mi változott itt” oldal e beszámoló kezdete óta minden olyan módosítást felsorol, amely közölt számot vagy állítást érint. A változásnapló angol nyelven készül.