A válaszmotorok az adatfelvételi hullámok között nagyobb mértékben fogalmazták át a válaszaikat, mint amikor ugyanaz a kérdés kétszer egymás után hangzik el. Itt áll, ebből mennyit tudok megvédeni.

1 · Előbb a hatókör, aztán a megállapítás

Tizennyolc kérdés egyetlen cégről, nyolc válaszmotornak feltéve egyetlen böngészős mérőeszközön keresztül, hét adatfelvételi hullámban, amelyek első rögzítései 2026. július 4. és augusztus 25. közé esnek. A hétből három több napon át futott; az alábbi dátumok mindegyiknél az első rögzítést jelölik, nem a teljes időtartamot. A hétből csak hat ad cellát: a második, a makefield-cycle0-20260705, cellánként egy ismétlést tartalmazott, és egyetlen ismétlésből nem lesz pár. A hullámok nem egyenletesen oszlanak el; három időpontra esnek (július elejére, augusztus közepére és augusztus végére), és ez a legfontosabb tudnivaló, mielőtt bármelyik alábbi számot olvassa.

makefield-cycle0

2026-07-04

makefield-cycle0-20260705

2026-07-05

makefield-cycle0-v2

2026-07-05

makefield-cycle0-v3

2026-07-09

makefield-cycle1

2026-08-10

makefield-cycle1-20260811

2026-08-11

makefield-cycle2

2026-08-25

Egy cella egy kérdés és egy válaszmotor párosa. A 2952 rekord cellákba vonásából 111 összehasonlítható cella lett. Hatvan ismétlés kiesett, mert a válaszmotor egyáltalán nem adott választ. További tizenkét cella kimaradt, mert maga a kérdés szövege megváltozott az összehasonlított hullámok között. A tizennyolc kérdésből kettő rossz domainre vonatkozott. Egy azonos nevű, ezzel a céggel semmilyen kapcsolatban nem álló vállalkozást neveztek meg, és az első hullám hat válaszmotort kérdezett róla, július 5-én reggel pedig egy ismételt ChatGPT-futtatás újra. Mindkét kérdést még aznap javítottam, így a változás egyik oldalán valaki más weboldaláról szóló válaszok állnak, a másikon az enyémről szólók. Ha egy másik kérdésre adott választ az eredetire adott válasszal vetnénk össze, az éppen azt a hatást hozná létre, amelynek kimutatását ez a vizsgálat állítja; ezért ez a tizenkettő kimaradt, és kizárásként számolva szerepel, nem csendben megtartva. Az azonos nevű vállalkozás itt nem szerepel név szerint: valódi vállalkozás, amelynek semmi köze nem volt ehhez, és semmi haszna nem származik abból, hogy itt megjelenik.

A 111 cellából 103 rendelkezik mérhető ismételhetőségi küszöbbel (noise floor: mennyire hasonlít egymásra két válasz egy hullámon belül). Ez a 103 cella az oldal minden arányának nevezője. A maradék nyolc az okával együtt a CSV-ben szerepel.

2 · Előbb a küszöb

A válaszmotorok nem determinisztikusak. Ha ugyanaz a kérdés ugyanabban a munkamenetben kétszer hangzik el, a válasz már más szavakkal érkezik. A területen megjelent munkák többsége egy mai választ vet össze egy hetekkel korábbival, és a különbséget sodródásnak nevezi. Ez az összehasonlítás nem tudja megkülönböztetni azt a válaszmotort, amely megváltozott, attól, amely kezdettől fogva sem volt stabil.

Az első mérés ezért a mérőeszközé, nem a válaszmotoroké. Egyetlen hullámon belül ugyanaz a kérdés ugyanannál a válaszmotornál többször is elhangzik. Az ismétlések közötti hasonlóság a cella saját ismételhetőségi küszöbe: mennyire hasonlít két válasz, ha semmi nem változott, csak a véletlen. A hullámok közötti hasonlóságot csak ezután érdemes kiértékelni, és csak a cella saját küszöbéhez mérve, soha nem egy másik cellától vagy másik válaszmotortól kölcsönvett számhoz.

A hasonlóság itt a tartalmi tokenek halmazain számított Jaccard-együttható. A szöveg kisbetűssé alakul, előbb az URL-ek törlődnek, a szavak felismerése Unicode-alapú, a szó eleji és végi aposztrófok és kötőjelek levágódnak, a legfeljebb kétkarakteres tokenek és a stopszavak kiesnek, és ami marad, halmazként szerepel. Az a két válasz, amely ugyanazokat a szavakat más sorrendben használja, azonosnak számít; az a kettő, amely ugyanazt a három szolgáltatót más megfogalmazásban nevezi meg, különbözőnek. Ez valódi gyengeség, és az 5. szakasz tárgya.

Az összehasonlítás egyik szabálya külön említést érdemel, mert éppen olyan esetet rendez, amely észrevétlenül felfújhatja az eredményt. Ha egy összehasonlítás mindkét oldala üres, a pár nem ad értéket, nem 1-et. Két válasz, amely nem jelölt meg forrást, nem bizonyítja, hogy a válaszmotor kétszer ugyanazokat a forrásokat jelölte meg. A pár kiesik, és a kiesés számolva van.

A 103 cellán az ismételhetőségi küszöb mediánja 0,266, kvartilisei 0,200 és 0,321, minimuma 0,036, maximuma 0,600. A szóródás a lényeg. Az a cella, amelynek küszöbe 0,036, olyan, ahol a válaszmotor percekkel később is alig ismétli önmagát, és semmi, amit ennél a cellánál hetek távlatában mérünk, nem jelenthet sokat.

Az eszközt, amely ezeket a válaszokat rögzítette, és a protokollt, amely szerint futott, a módszertani oldal mutatja be.

3 · Az eredmény

A hullámok közötti hasonlóság mediánja 0,183, szemben a küszöb 0,266-es mediánjával. Cellánként a különbség mediánja −0,065, 95 százalékos konfidenciaintervalluma −0,092 és −0,030 között van, 18 kérdés szerint csoportosított bootstrap-pel számítva, 2000 bootstrap-minta, kezdőérték 0 (angolul seed). A csoportosítás lényeges: az ugyanahhoz a kérdéshez tartozó cellák nem független megfigyelések, és az az intervallum, amely úgy számolna, mintha azok volnának, szűkebb lenne, mint amennyit az adatok megengednek.

A cellákat megszámolva, nem átlagolva: 103-ból 85 cella, 82,5 százalék, kevésbé hasonlít a hullámok között, mint egy hullámon belül. Egy olyan permutációs referenciaeloszlás szerint, amely minden cellán belül véletlenszerűen osztja újra a hullámcímkét az ismétlésekre, a csoportméreteket változatlanul hagyva, pusztán véletlenszerűen 40,9 százalék volna várható, 5000 permutáció, kezdőérték 0. Egyetlen permutáció sem érte el a 85-öt. Az összesítő fájl maga rögzíti, mit nem tud megmutatni a nullhipotézis elutasítása: „In this archive a wave IS a sitting, so a rejection cannot separate drift over elapsed time from answers taken in one sitting resembling each other.” (Magyarul: Ebben az archívumban egy hullám UGYANAZ, mint egy alkalom, ezért a nullhipotézis elutasítása nem tudja elválasztani az idő múlásával bekövetkező sodródást attól, hogy az egy alkalommal kapott válaszok hasonlítanak egymásra.) A küszöb egy alkalmon belül mérődik, a hatás pedig hetekre egymástól eső alkalmak között, így minden, ami egy alkalmon belül közös, ebben a számban is benne van.

Az összesítő fájl p = 0,0002 értéket közöl, és saját megjegyzésében rögzíti, hogy ez a próba alsó határa, egy osztva a permutációk eggyel megnövelt számával, nem mért mennyiség. Kisebb számot több permutáció futtatásával lehetne elérni, és az sem jelentene többet, mint ez.

Válaszmotoronként, csak a küszöbbel rendelkező cellákat számolva. A válaszmotorok itt nem hasonlíthatók össze egymással: különböző számú alkalommal rögzültek, és az alábbi darabszámok azt írják le, mi rögzült éppen, nem azt, melyik válaszmotor stabilabb. A Mistralnak nincs sora, mert öt cellája közül egyiknek sem lett küszöbe, és küszöb nélküli válaszmotor nem mérhető a saját küszöbéhez.

4 · Amit mások ugyanezzel a mértékkel mértek

Három publikált mérés ugyanabból a mértékcsaládból vett mértéket alkalmaz ugyanarra a kérdésre, és egyikük már meg is válaszolta ennek a vizsgálatnak a kérdését. Azért szerepelnek itt, mert az a szám, amelyet nélkülük közölnek, azt kéri, hogy higgyenek neki, nem azt, hogy ellenőrizzék.

A harmadik sor azt méri, aminek a mérésére a következő vizsgálat épül ezzel a mérőeszközzel. Ezt érdemes kimondani, ahelyett, hogy később derüljön ki: a kérdést már feltették, és az itteni hozzájárulás szűkebb egy első eredménynél. Ami itt új, az az, hogy a küszöb cellánként mérődik, így minden összehasonlítás ugyanannak a kérdésnek ugyanannál a válaszmotornál mért zajához mérődik, nem egy összevont számhoz, és egy összevont küszöb nem tudja megkülönböztetni a zajos válaszmotoron feltett stabil kérdést a fordított esettől.

Mindhárom tanulmány szerzői között vannak olyanok, akik ezen a területen értékesítő cégeknél dolgoznak. A háromból kettőben a megállapítás a szerzők saját üzleti érdeke ellen szól, és ez az az irány, amely egy szolgáltatói számot hitelesebbé teszi, nem kevésbé hitelessé. Egyikük sem ezt a tárgyat mérte, ez a vizsgálat pedig egy olyan tárgyon fut, amelyet azért választottam, mert keveset publikáltak róla, így az ő számaiktól való különbség a tárgyból is adódhat, nem a módszerből.

5 · Amit ez nem bizonyít

Négy gyengeség szerkezeti, nem esetleges. Hármat úgy találtam meg, hogy az eloszlást néztem, nem a fő eredményt, a negyedik pedig egy más okból futtatott ellenőrzésből került elő.

A kritérium attól függ, milyen magas a küszöb. Magas küszöbnél több a tér arra, hogy a hasonlóság ennél kisebb legyen. Ha a 103 cellát saját küszöbük magassága szerint bontjuk fel, pontosan ez a lejtő látszik, és meredek.

A középső oszlop az egyes csoportokba került küszöbök terjedelme, nem vágópont. A csoportok rang, nem érték szerint képződnek, és ha a 2. szakaszban közölt három kvartilisérték mentén osztjuk fel a cellákat, helyettük 57,7; 81,5; 95,8 és 96,2 adódik. Helyesbítve: 2026. szeptember 3.

A fő eredmény 82,5 százalékos aránya tehát négy nagyon különböző sokaság átlaga. A permutációs referenciaeloszlás ezt figyelembe veszi, mert minden cellán belül keveri a címkéket, és így megőrzi minden cella saját küszöbét, de az egyetlen szám így is elrejt egy lejtőt, amelyet az olvasónak joga van látni.

A kritérium bináris, és eldobja a nagyságot. Az „eltérőnek számít” ugyanúgy számol egy olyan cellát, ahol a különbség 0,4, mint egy olyat, ahol 0,003. A 85 eltérő cella közül 6 esetében a különbség nagysága legfeljebb 0,01, 15 esetében legfeljebb 0,02. A különbség nagyságának mediánja 0,084, a legnagyobb 0,408. A hatás tehát nem hajszálnyi esetekből áll, de nagyjából minden hatodik eltérő cella olyan közel van a küszöbéhez, hogy egy másik tokenizáló átbillenthetné.

Az időközök nem egyetlen időköz. A cellában összehasonlított két hullám közötti időköz 1 és 52 nap között van. Hiba volna az eredményt „hét hét változásának” nevezni. A szóródás az időköz szerinti bontást teszi lehetővé, és az összesítő fájl megmondja, hogyan kell olvasni: „Bands below compare DIFFERENT cells and different engines to each other, not the same cell over time.” (Magyarul: Az alábbi sávok KÜLÖNBÖZŐ cellákat és különböző válaszmotorokat hasonlítanak össze egymással, nem ugyanazt a cellát az idő múlásával.)

Egy cellán belül a hosszabb időközt a rövidebbel összevetve a különbség −0,047, 95 százalékos intervalluma −0,058 és −0,031 között van, és 108-ból 87 cella a hosszabb időköznél kevésbé hasonló, 21 hasonlóbb. Több idő, kisebb hasonlóság, cellákon belül mérve, így semmilyen, a válaszmotorok összetételéből adódó hatás nem hozhatja létre. Kiszűri a válaszmotor és, két alább megnevezett cella kivételével, a kérdés hatását, az időszakét viszont nem: ebben az archívumban minden hullám egyben egy alkalom is.

Ez volt a legerősebb állítás ezen az oldalon, és 2026. szeptember 3-ig a legkevésbé ellenőrizhető is. A cellák CSV-je cellánként egy hullámpárt tartalmaz, így az összehasonlítás nem volt belőle újraszámolható, és a hosszabb és a rövidebb időköz párosításának szabálya egyetlen közzétett fájlban sem szerepelt. Most közzé van téve: egy harmadik fájl mind a 957 hullámpárt tartalmazza, a szabály és a holtverseny esetén alkalmazott döntés pedig az adatkészlet README-fájljában van leírva. A pontbecslés és a két darabszám pontosan újraszámolható belőle. Az intervallum továbbra sem, mert az újramintavételezés kódja nincs közzétéve.

És a szabály közzététele megmutatta, mekkora a kétértelműség. Egy cella tartalmazhat két hullámpárt ugyanazzal a napokban mért időközzel, és a 108 cellából 37 ilyen, így az, hogy melyik pár számít a legrövidebbnek vagy a leghosszabbnak, választás kérdése. Öt észszerű választási mód mellett a medián −0,042 és −0,066 között, a darabszám 108-ból 83 és 93 között van. Az irány mindegyik mellett megmarad. A pontbecslés nem. A közölt szám az öt közül a második legóvatosabb, és ezt érdemes kimondani, mert a fordítottja megállapítás lett volna. A −0,047 értéket ezen a tartományon belüli egyik védhető pontként olvassa.

Ez a 108 cella nem a 103, és nem is a 111 részhalmaza. A hullámpárok fájlja 123 cellát fed le, mert az a cella, amely egy megváltozott kérdés miatt kiesett az ismételhetőségi vizsgálatból, még tartalmazhat olyan hullámpárokat, amelyekben a kérdés szövege azonos volt, és csak ezek a párok vannak a fájlban. A 123 közül tizenötnek csak egyetlen különböző időköze van, ezek kiesnek, és 108 marad: ebből 100 a 111 között van, 8 nem. A 100 cellára szűkítve a medián −0,042, és 100-ból 79 kevésbé hasonló a hosszabb időköznél. Ez ugyanaz az irány, és a fenti tartomány nullához közelebbi vége.

És a 108 közül kettő nem tartozik bele. A chatgpt B3 és B4 cellájában a legrövidebb időközű sor két, a kérdés eredeti változatára adott választ vet össze, a leghosszabb időközű sor pedig két, a javított kérdésre adott választ. Mindkét sor önmagában következetes, ezért engedte be őket a párosítási szabály, de a statisztika így az egyik kérdést vonja ki a másikból, és az „ugyanaz a kérdés, ugyanaz a válaszmotor” erre a két cellára nem igaz. Ha mindkettőt elhagyjuk, 106 cellán −0,046 adódik, 85 kevésbé hasonlóval a hosszabb időköznél és 21 hasonlóbbal. A közölt szám ezt túléli. A fenti mondat, amely egykor a kérdések összetételéből adódó hatást is kizárta, nem élte túl, és most már csak a válaszmotorok összetételéből adódó hatást zárja ki. Ez 2026. szeptember 3-án derült ki, amikor a próbát a fájlból számoltam újra, ahelyett, hogy a darabszámát az összesítőből olvastam volna ki.

A küszöbök egyharmada egyetlen párra épül. Ez 2026. augusztus 31-én derült ki, egy másik dolog ellenőrzése közben, és a fenti hárommal ellentétben nem az olvasó javára dolgozik.

A küszöb egy cella hullámon belüli párjainak mediánja. A 103 cellából harmincnyolcnak pontosan egy ilyen párja van, és egyetlen szám mediánja maga az a szám. Tágabban számolva 103-ból 60 csak egyetlen hullámból kapja a küszöbét, mert a másik hullám egyetlen ismétlést adott, és egyetlen ismétlésből egyáltalán nem lesz pár. Az összes cellára vett medián két pár.

A jobban mért részhalmazon a hatás nagyjából hat százalékponttal kisebb, és a különbség mediánja feleakkora. A fő eredmény tehát érzékeny a küszöbök vékonyságára, mégpedig abban az irányban, amely megemeli. Ezen a részhalmazon, a 103 cella egy részén, az arány 76,7 százalék, és saját bizonytalansága van; a fő eredmény mellett áll, nem egy tartomány pesszimista vége. A felosztás szabálya, hogy ellenőrizni lehessen, ne csak elhinni: egy cella akkor számít mindkét hullámban mértnek, ha a draws_early és a draws_late egyaránt legalább 2. Az egyetlen párra épülő küszöböket egy harmadik oszlop mutatja: within_pairs egyenlő 1-gyel.

A következő vizsgálat erre a gyengeségre válaszul készült. Előregisztrációja minden rögzítés előtt előre meghatározza a megfogalmazásonként és válaszmotoronként három ismétlést, így egyetlen cellája sem épülhet egyetlen párra. Ez nem javítja ki ezt az eredményt; azt jelenti, hogy a következőnek nem lesz szüksége arra a bekezdésre, amelyet most olvas.

6 · Hogyan ellenőrizheti maga

Az alábbi két CSV minden sort tartalmaz, nem válogatást. A cellák CSV-je minden összehasonlítható cellához egy sort tartalmaz, a két hullámmal, azok dátumával, a napokban mért időközzel, az ismétlések számával, a párok számával, a mindkét oldalon üres, ezért kiesett párok számával, a küszöbbel, a hullámok közötti hasonlósággal, a különbséggel és azzal a jelzővel, amelyet ez az oldal számol. A hullámpárok CSV-je, amely 2026. szeptember 3-án jelent meg, nem cellánként, hanem hullámpáronként tartalmaz egy sort, és éppen erre van szüksége a cellán belüli próbának; a cellák CSV-je ezt nem tudja megadni. Az összesítő tartalmazza az eloszlásokat, a kezdőértékeket, a replikációk számát és a kizárások okait.

Hat számcsalád újraszámolható a közzétett fájlokból, és mindegyiket újra is számoltam, nem csak állítottam: az első ötöt 2026. szeptember 1-jén, tizennégy külön számot, mind egyezett, a hatodikat szeptember 3-án, amikor a hozzá szükséges fájl megjelent. Az alábbi számítási módok közül kettő korábban túl laza volt ahhoz, hogy követni lehessen, ezért most teljes egészében le vannak írva. Az első öt a küszöbbel rendelkező 103 cellán értendő, nem mind a 111 soron, és már ez az egy mondat eldönti, hogy az alábbi időköztáblázat jön-e ki, vagy egy másik. A hatodik egyiken sem: egy harmadik sokaságon fut, amelyet mellette megnevezek.

1. A fő eredmény. A text_moved_beyond_noise összege: 103-ból 85.
2. Az időköztáblázat. A gap_days sávokra bontása 14-nél és 40-nél, a 103 cellán. ⚠ Ha ehelyett mind a 111 soron számolunk, a három sávból kettő másképp jön ki: 40-ből 28 és 59-ből 49, nem 35-ből 28 és 56-ból 49. Helyesbítve: 2026. szeptember 1.
3. A különbség nagyságának számai. A delta_text a 85 eltérő cellára: 6 legfeljebb 0,01, 15 legfeljebb 0,02, medián 0,084, legnagyobb 0,408.
4. A küszöbök vékonysága szerinti bontás. Egy cella küszöbe mindkét hullámból származik, ha a draws_early és a draws_late egyaránt legalább 2. A 43 ilyen cellából 33 eltérő; a többi 60 közül 52.
5. A kvartilistáblázat. A 103 cellát a noise_sim_text szerint sorba rendezni, és 26, 26, 25 és 26 cellás rangcsoportokra osztani. Ha az oszlopot ehelyett a saját kvartilisei mentén osztjuk fel, az nem határoz meg egyértelmű választ: két másik konvenció a felső két sávra 88,5 és 100,0, vagy a középső kettőre 84,0 és 92,3 értéket ad. A 2. szakaszban közölt három kvartilisérték mentén végzett felosztás pedig nem adja vissza a rangcsoportok arányait: helyettük az 5. szakaszban szereplő, érték szerint képzett arányokat adja, mert ezek az értékek az oszlop kvartilisei, nem a csoportok közötti vágópontok. Az adatkészlet README-fájlja most már tartalmazza a szabályt. Helyesbítve: 2026. szeptember 1.
6. A cellán belüli időközpróba. A hullámpárok CSV-jéből, nem a cellák CSV-jéből. A 957 sort intent_id és engine szerint csoportosítani, a fájlbeli sorrend megtartásával. Elhagyni azt a cellát, amelynek kettőnél kevesebb sora van, és azt is, amelynek minden sora ugyanazt a gap_days értéket tartalmazza. A 957 sor 123 cellát fed le, nem 111-et, mert az a cella, amelyet az ismételhetőségi vizsgálat megváltozott kérdés miatt kizárt, még tartalmaz olyan párokat, amelyekben a kérdés szövege azonos volt; 15 kiesik, mert csak egyetlen különböző időköze van, és 108 marad, amelyből 8 a 111 cellán kívül esik. A megmaradt 108 cella mindegyikében venni a legkisebb gap_days értékű sort és a legnagyobbat, holtverseny esetén pedig a fájlbeli sorrendben első ilyen sort. A statisztika a nagyobb időköz across_wave_sim_text értéke mínusz a kisebbé, négy tizedesjegyre kerekítve. Medián −0,0465, 87 negatív és 21 pozitív értékkel. ⚠ A holtverseny esetén alkalmazott szabály nem díszítés: a 108 cellából 37 esetében van holtverseny, és a négy másik észszerű szabály −0,042 és −0,066 közötti mediánt ad.

Hat nem számolható újra. A permutációs referenciaeloszláshoz a hasonlósági mátrix kellene, amely nincs közzétéve. A tizenkét cellás lefedettségi ellenőrzéshez az előregisztrált ismétlésszámok kellenének, amelyek a futtatási konfigurációban vannak. Mindkét bootstrap-pel számított intervallum a kezdőértékével és a replikációk számával szerepel, de az újramintavételezés kódja nélkül, így hinni lehet nekik, megismételni nem. A tizenkét kizárt cella száma pedig az összesítőben szerepel, és egyik CSV-ben sem, amelyek együtt 111 és 957 sort tartalmaznak, és kizárási számot egyet sem. Ugyanígy a cellákba vont rekordok száma és azoknak az ismétléseknek a száma, amelyek azért estek ki, mert a válaszmotor nem adott választ: az összesítő közli őket, egyik CSV sem tartalmazza. Ez a hat az összesítőből van kiolvasva, nincs vele összevetve, és ez gyengébb annál, amit ennek a szakasznak a többi része nyújt. Helyesbítve: 2026. szeptember 3.

Ahol a CSV és ez az oldal bármiben ellentmond egymásnak, amire a CSV kiterjed, ott a fájlnak van igaza, és az oldal téved.

Ami a fájlokból nem számolható újra, az a mögöttük álló archívum. A válaszok, a képernyőképek és a hash-értékek nincsenek közzétéve, az elemzőeszközöket pedig addig visszatartom, amíg nem készíthető olyan export, amely csak ezt a futtatást tartalmazza, mert az archívum, amelyet beolvasnak, más cégek márkáiról szóló futtatásokat is tartalmaz, és nem az én tisztem közzétenni őket. Az itt ellenőrizhető állítás tehát szűkebb annál, amelyet érdemes volna tenni, és ennek a hiánynak a megszüntetéséhez nem kötök dátumot.

Hogy elsőre is így jött-e ki, azt a fenti számok nem tudják megmutatni; a „Hogyan változott az eredmény” oldal végigköveti azt az utat, amelyet kihagynak. A változásnapló angol nyelven készül.