A kérdések már a válaszmotorok megnyitása előtt véglegesek voltak. Az elemzés nem.

1 · Mit mér

A tárgy az, amit a válaszmotorok egy megnevezett cégről mondanak, ha rákérdeznek, és amit forrásként megjelölnek. A nyers beolvasásból a válasz szövege, a megjelölt források, egy képernyőkép és a válasz keletkezésének körülményei rögzülnek. Maga a rögzítés nem kézi: egy általam írt Chrome-bővítmény végzi, és a sorokat is ez írja, a munkamenetet pedig egy ember vezeti, aki közben, ahogy lejjebb olvasható, nem pontoz. Hogy lépésről lépésre hol húzódik a határ a bővítmény és az ember között, az egyetlen közzétett fájlban sem szerepel, így ebben Önnek az oldal szavára kell hagyatkoznia, nem feljegyzésre. A pontozás utólag történik, a rögzítés után, írásos értékelőtábla alapján. Aki a rögzítést végzi, rögzítés közben nem pontoz, mert ha a futtatás befejezése előtt ítélet alakul ki, az befolyásolhatja, hogyan történik a hátralévő kérdések rögzítése.

A megfigyelések és az ítéletek végig külön oszlopban állnak. Az a válasz, amely egyetlen szolgáltatót sem nevez meg, az említés hiányaként szerepel a nyilvántartásban, nem sikertelen rögzítésként. A különbség lényeges: senki nem veszített el egy versenyt, amely meg sem történt.

2 · A hét dimenzió

Entitásfelismerés. A leírás pontossága. Összehasonlítás a versenytársakkal. Ajánlási viselkedés. A dokumentáció minősége. Strukturált adatok. Hivatkozott források.

A hétből hat befolyásolható dimenzió: mindegyikhez konkrét javítás tartozik, és az audit ezt a javítást munkautasításként adja ki annak, aki felel érte. A hetedik, az ajánlási viselkedés, eredményváltozó. Nyomon követem, de soha nem kínálom közvetlenül javíthatóként, mert éppen ezt hivatott a másik hat elmozdítani. A strukturált adatoknál ez feltevés, nem megállapítás: hogy az oldal által mért válaszmotorok egyáltalán olvassák-e a jelöléseket, azt itt senki nem vizsgálta.

A mind a hét dimenziót egybevonó összesített pontszámot egy független módszertani felülvizsgálat 2026. július 3-án elvetette, mert ez a pontszám az eredményváltozót a saját okaival együtt átlagolta, így ugyanazt az oksági utat kétszer számolta. Egy ilyen pontszám már a felépítésénél fogva érvénytelen, nem csupán rosszul súlyozott, és semmilyen újrasúlyozás nem javított volna rajta. Helyette válaszmotoronként, dimenziókra bontott profil készül, mellette egy csak a befolyásolható dimenziókra számított átlag, az eredményváltozót pedig külön közlöm.

3 · A futtatási protokoll

A kérdések szó szerint és előfeszítés nélkül hangzanak el. A válaszmotor soha nem tudja meg, ki kérdez, hol van, vagy mit keres, mert az előfeszítés éppen azt a torzítást idézné elő, amelynek kimutatására a mérés készült. Ahol a hely számít, ott magában a kérdésben szerepel. Minden kérdés új csevegésben fut, így az előző kérdésből semmi nem adódik át. Az első válasz kap pontot, utána egy mindig azonos szövegű rákérdezés következik a felhasznált forrásokra, hogy a források gyűjtése minden alkalommal ugyanúgy történjen.

A nyilvántartás válaszonként tartalmazza a válasz keletkezési körülményeinek mezőit: a dátumot; a modellnek a válaszmotor által közölt verzióját; azt, hogy a megjelenés fizetett vagy organikus volt-e; és azt, mit tett a válaszmotor, ha ajánlás helyett mást tett. Ezek a mezők nincsenek minden sorban kitöltve, és attól, hogy egy mező létezik, a mérés még nem történt meg. A szponzorált megjelenés soha nem számít bele az organikus számok átlagába; külön szálat alkot, és külön közlöm.

Minden pontszám egyetlen keltezett megfigyelésnek számít, nem a válaszmotor tulajdonságának; ezért futnak újra ugyanazok a kérdések hullámokban, és ezért mérem meg az ismételhetőségi küszöböt (noise floor: mennyire hasonlít egymásra két válasz egy hullámon belül), mielőtt bármilyen időbeli változást állítanék.

4 · Az előregisztráció és a hiányzó fele

A módszer egy előregisztrációs lépéssel kezdődik. Mielőtt bármelyik válaszmotor megnyílna, a kérdéssor, a válaszmotorok, a körülmények, az értékelőtábla verziója és az előrejelzések írásba kerülnek és keltezést kapnak, azzal a vállalással együtt, hogy minden kérdésről beszámolok, azokról is, amelyeknél az előrejelzés nem teljesült. Minden későbbi változtatásból keltezett kiegészítés lesz, soha nem szerkesztés.

Az előregisztrációkat 2026. augusztus 31-én számoltam meg a munkához használt repozitóriumban, azzal a szabállyal, hogy egy fájl akkor előregisztráció, ha egy adott vizsgálatot annak rögzítése előtt regisztrál. Tizenegy ilyen fájl van, a legkorábbi 2026. június 30-i, a két legutóbbi 2026. augusztus 30-i keltezésű. Pontosan egyben áll „registered” feliratú állapotsor. Egy saját szavaival kimondja, hogy még nincs regisztrálva, és sehol nem szerepel benne dátum. A többi tervezetként vagy javaslatként fogalmaz, vagy egyáltalán nincs állapotsora, ideértve a most előkészítés alatt álló vizsgálatét is.

A nagyobb hiány szerkezeti volt, nem adminisztratív. Az előregisztráció befagyasztja a kérdéseket; azt viszont nem, milyen számítás készül majd a válaszokból. A saját auditom kérdéseit lépésenként regisztráltam, mindegyik kérdéssort egy olyan futtatási nyilvántartásban, amely az adott futtatás első rögzítése előtt készült: tízet 2026. július 4-én, tizennégyet július 5-én, mind a tizennyolcat július 9-én. A július 4-én feltett kérdések közül kettő, az azonos nevű cégtől való elhatárolásról szóló kettő, szerepel az aznapi regisztrációs fájlban, a futtatás saját nyilvántartásában viszont nem. Az elemzés, amely később ezeken a rögzítéseken lefutott, az ismételhetőségi vizsgálat, augusztus 22-én készült, amikor a hét hullámból hat már rögzítve volt. Akkor még semmi nem jelent meg belőle, és semmilyen állítás nem épült rá, de egy lezárt kérdéssor lezáratlan elemzéssel még mindig nyitva hagy minden döntést, amely számít: melyik mérték, melyik összehasonlítás, melyik határérték, mely cellák essenek ki.

Az előregisztrációs lépés most egy helyett két dokumentum. Egy előregisztráció, amely meghatározza a kérdéseket és az előrejelzéseket, és egy elemzési terv, amely meghatározza a mértéket, az összehasonlítást, a kritériumot, a nullhipotézist, a kizárásokat, valamint azt, mely táblázatok nem hordoznak semmilyen következtető statisztikai állítást. Az első ilyen pár 2026. augusztus 30-án készült. A tizenegyből kettő maga is augusztus 30-i keltezésű, így e dátum előtt ebben a kutatói gyakorlatban kilenc előregisztráció volt, és egyetlen elemzési terv sem.

5 · Mibe kerül egy sikertelen ellenőrzés

Egy ellenőrző program 2026. augusztus 29-én lefutott az archívumon, és tizenegy ellenőrzésből négy sikertelen volt. Az alábbi számok ebből a beolvasásból származnak, és azóta senki nem reprodukálta őket. Minden sikertelen ellenőrzésnél itt áll, minek kellene történnie ahhoz, hogy ez a sikertelenség egy közölt szám visszavonásával járjon.

A négyből három a bizonyítékok szintjén jelentkezik, nem a mérés szintjén. Az ambiguous picture references (többértelmű képhivatkozások) 1257 esettel és a duplicate frames (kétszer tárolt képkockák) 8 esettel azt jelenti, hogy egy képernyőkép nem mindig rendelhető pontosan egyetlen megfigyeléshez. Az itt közölt számok közül egy sem képernyőképből számított, így ma egyik sikertelenség sem érint számot. Ezek a hibák minden képre épülő állítás visszavonásával járnának, és a szabály azért áll már most itt, hogy később senki ne tehessen ilyen állítást úgy, mintha az ellenőrzések sikeresek lettek volna.

A cross-run references (futtatásokon átnyúló hivatkozások) 26 esettel ugyanezt a szintet érinti, csak súlyosabb formában. Az a kép, amely az egyik futtatásban rögzült, és egy másikból hivatkozás mutat rá, rendetlenség. Ugyanez a minta a válaszok sorai között már a hullámok közötti szennyeződés volna, és minden szám, amely az érintett hullámokra számított, visszavonandó volna, nem helyben javítandó.

A coverage (lefedettség) áll a legközelebb a számokhoz. Az archívumban több ismétlési sorszám szerepel, mint amennyit a befagyasztott terv megenged, vagyis a ténylegesen lefutott terv nem minden tekintetben azonos az előregisztrálttal.

Hogy ez érint-e közölt számot, azt 2026. augusztus 31-én tisztáztam, és a válasz: igen. A 103 közölt cellából tizenkettő több ismétlést használt, mint amennyit a kérdésére előregisztrált ismétlésszám előírt. Ha mind a tizenkettőt kivesszük, a fő eredmény nem csökken, hanem nő: az eltérőnek számító cellák aránya 82,5 százalékról 85,7 százalékra emelkedik, mert e tizenkettőnek 58,3 százaléka számít eltérőnek, jóval kevesebb, mint a többinél. A különbség mediánja nem mozdul: −0,065 a tizenkettővel és −0,065 nélkülük. A kettő 0,0007-tel tér el egymástól. A medián konfidenciaintervalluma 0,062 széles, nagyjából kilencvenszer akkora, így ez nem olyan elmozdulás, amelyet ezek az adatok ki tudnának mutatni. Helyesbítve: 2026. szeptember 2.

Az előregisztrált ismétlésszám túllépése tehát valós, és a közölt számot gyengítette, nem erősítette. Hogy ebbe az irányba hatott, az szerencse, nem módszer. Ezen az alapon nincs visszavonás. A tizenkettő a közzétett CSV-ben a draws_early és a draws_late oszlop alapján azonosítható, de az előregisztrált ismétlésszám, amely mindegyiknél a mérce, nincs közzétéve, így a felosztás a közzétett fájlokból önmagában nem ismételhető meg. Ez a közzétett anyag hiánya, nem az eredmény korlátja.

Ennek az ellenőrzésnek a lefuttatása egy nagyobb problémát is felszínre hozott, amelyet ez a túllépés eddig elfedett, és ez a probléma nem a biztonságos irányba hat. Ott szerepel, ahová tartozik: a vizsgálat oldalán, annak 5. szakaszában.

6 · Ami szándékosan nincs itt

A fő kérdéssor nincs közzétéve, és a pontozás szintleírásai sem. A nyilvános kérdéssor már nem azt méri, amire készült, mert a tartalmakat célzottan hozzá lehet igazítani, és az a mérőeszköz, amelyet elolvasva ki lehet játszani, már nem mérőeszköz. A tizenegy előregisztráció közül háromnak a dátuma nyilvános, és a 4. szakaszban áll: a legkorábbié és a két legutóbbié. A másik nyolc dátuma nincs közzétéve, és e nyolc közül egynek egyáltalán nincs dátuma. Az eljárás nyilvános, és a belőle származó sorok is nyilvánosak. A kérdések szövege nem.

Egy vizsgálat szándékosan kivétel. A 2026. augusztus 30-án írt parafrázisvizsgálat (még tervezet, jóváhagyásra vár, és jelenleg a saját felülvizsgálatának megállapításai miatt szünetel) minden megfogalmazását a saját előregisztrációjában teszi közzé, mert ott éppen az a kérdés, hogy az átfogalmazás megváltoztatja-e a választ, és ezt senki nem ellenőrizheti, aki nem látja a megfogalmazásokat. Saját kérdésazonosítókkal és saját futtatással dolgozik, és nem része a befagyasztott sorozatnak.

Hogy ez az eljárás mit eredményezett, azt a vizsgálat mutatja be, a „Mi változott itt” oldal pedig keltezve rögzíti, mit mondott korábban ez az oldal. A változásnapló angol nyelven készül.