Ako meriame a kde sa mýlime

Populácia, z ktorej losujeme

Štatistika je len taká dobrá ako zoznam, z ktorého vznikla, preto ten náš pomenujeme. Pre .cz je populáciou otvorený dataset CZ.NIC na stats.nic.cz, zverejnený pod CC BY 3.0 CZ a uvedený tu aj v SOURCES.md.

Pre .sk je smerodajný denný výpis registra na sk-nic.sk a jeho licencia na stránke uvedená nie je. Kým nebude vyriešená písomne, panel .sk sa nelosuje a žiadne číslo pre .sk nezverejníme. Ak sa ukáže, že licencia naše použitie nedovoľuje, záložná cesta je podmnožina .sk z indexu hostiteľov Common Crawl spolu s Majestic Million pod CC BY 3.0, a táto stránka potom rovno povie, že populácia .sk je odvodená z crawlu, nie z registra.

Panel

Z populácie losujeme stratifikovanú náhodnú vzorku 75 000 domén na doménu najvyššej úrovne, so zapísaným náhodným semienkom a dátumom losovania. Panel potom ostáva pevný, lebo krivka nakreslená nad meniacou sa vzorkou nie je krivka vývoja.

Prelosuje sa raz za štvrťrok, s prekryvom aspoň osemdesiat percent oproti predchádzajúcemu panelu, a dátum prelosovania je na každom grafe, ktorý ho pretína.

Ako často meriame

5 000 domén denne, 2 500 na doménu najvyššej úrovne, rozložené do zhruba šiestich nočných hodín pri asi dvoch požiadavkách za sekundu spolu. Celý panel sa obnoví raz za tridsať dní a na jednu doménu nesiahneme častejšie než raz za tridsať dní.

Čo vynechávame a kde je to napísané

Zo súhrnov sú vylúčené štyri skupiny: domény, ktoré presmerujú na inú registrovateľnú doménu, tie sa rátajú raz pod cieľom a nikdy dvakrát; parkované stránky podľa šablón registrátorov; prázdne alebo predvolené stránky hostingu; a domény, na ktoré sme sa nedostali.

Všetky štyri počty sú vytlačené pri každej tabuľke. Menovateľ, ktorý nevidíte, je menovateľ, ktorý neviete skontrolovať.

Ako sa počítajú čísla

Používanie je počet nájdení delený počtom úspešne zosnímaných domén. Podiel na trhu je počet nájdení delený počtom domén, na ktorých sme našli ľubovoľnú známu technológiu z tej kategórie. Tretí stĺpec, zmena za tridsať dní v percentuálnych bodoch, je ten, ktorý porovnateľné nástroje do hlavnej tabuľky nedávajú.

Pri každej hodnote je n, teda počet domén za ňou, a štandardná chyba ako odmocnina z výrazu p krát jedna mínus p, deleného N. Čokoľvek s menej než tridsiatimi nájdeniami zverejníme ako primálo, nie ako falošne presné malé číslo.

Rátajú sa len priamo zistené nálezy, odvodené sú vylúčené. Krivka je týždenná a popis to hovorí slovom, lebo náš takt je týždenný a predstierať dennú presnosť by bola presne tá nečestnosť, ktorú kritizujeme.

Úrovne istoty

isté

Priame vyhlásenie webu o sebe, napríklad meta značka generator alebo hlavička dodávateľa.

pravdepodobné

Zhodujú sa dva alebo viac nezávislých slabých signálov.

náznak

Jeden slabý signál. Užitočné, nie dôkaz, a tak je to aj označené.

odvodené

Vyplýva z pravidla o závislosti, napríklad WordPress znamená PHP. Ukazuje sa ako odvodené a do štatistík nevstupuje, aby žiadny jazyk nenafúklo pravidlo namiesto merania.

Signály, ktoré čítame, kategóriu po kategórii

Redakčný systém

meta značka, cesta k súboru, hlavička odpovede, názov cookie

E-shopová platforma

cesta k súboru, hlavička odpovede, názov cookie, adresa skriptu

Jazyk na serveri

hlavička odpovede, názov cookie, cesta k súboru

JavaScriptový rámec

adresa skriptu, značka v HTML, hlavička s verziou

CSS rámec

štýl alebo trieda, adresa skriptu

Webový server

hlavička odpovede

CDN a reverzné proxy

DNS záznam, hlavička odpovede

Poskytovateľ hostingu

pridelenie IP (ASN)

Poskytovateľ DNS

DNS záznam

Poskytovateľ e-mailu

DNS záznam

Certifikačná autorita

pole certifikátu

Analytika

adresa skriptu, značka v HTML

Zdroje a licencie

webappanalyzer

GPL-3.0. Otvorený ruleset pre medzinárodné technológie. Pripneme jeden release a držíme ho na vlastnom disku.

Public Suffix List

MPL 2.0. Pripnutý snímok od Mozilly. Rozhoduje, čo je registrovateľná doména, bez jediného volania po sieti.

iptoasn.com

PDDL 1.0. Výpis IP na ASN za poskytovateľom hostingu a krajinou pridelenia IP. Obnovuje sa denne.

CZ.NIC open data

CC BY 3.0 CZ. Populácia .cz, z ktorej losujeme panel. Uvedené tu aj v SOURCES.md.

SK-NIC domains.txt

open question. Denný súbor registra .sk. Licencia na stránke uvedená nie je, preto ju operátor musí doriešiť pred prvým behom prieskumu. Dovtedy sa panel .sk nelosuje.

Cloudflare Radar

CC BY-NC 4.0. Len nekomerčne, preto sa do tohto produktu nedostane. Najviac interné čítanie.

RIPEstat

no redistribution. Podmienky zakazujú ďalšie šírenie a komerčné použitie. Vylúčené z toho istého dôvodu.

Slabiny, povedané ako prvé

• Čítame jednu úvodnú stránku. Nie podstránky, nie subdomény, nič za prihlásením.
• Nespúšťame JavaScript. Čokoľvek sa vykreslí až v prehliadači alebo sa načíta po kliknutí, nevidíme.
• Rozpoznanie zlyháva pri vlastných riešeniach, pri weboch, ktoré si zmažú hlavičky, a za CDN, ktoré skryje pôvodný server. Povieme to vo výsledku namiesto toho, aby sme dieru zaplnili odhadom.
• HTTP/3 hlásime ako ohlásené, lebo čítame hlavičku Alt-Svc a neotvárame spojenie QUIC, aby sme to overili.
• Krajina servera je krajina pridelenia IP, nie dôkaz, kde stroj fyzicky stojí.
• Jazyk obsahu bez atribútu lang je odhad so skóre, nikdy sa nevydáva za vyhlásenie.
• Tabuľka ASN sa obnovuje denne, zdroj hodinovo, takže IP, ktorá sa presunula za posledný deň, môže byť pripísaná zlému poskytovateľovi.
• História začína dňom prvého merania domény a spätne nič nedopĺňame, takže prvý mesiac stĺpce zmien hovoria, že histórie je zatiaľ málo.
• Panel má 150 000 domén, nie celý slovenský a český web, a je to napísané nad každou tabuľkou aj s dátumom losovania.

Keď sa mýlime

Napíšte na andrej@arling.sk doménu a čo je zle. Overíme to, opravíme a oprava je vidieť ako každá iná zmena. Oprava nie je hanba. Hanba je číslo, ktoré sa nedá spochybniť.