Kort svar: robots.txt ligger på roden af domænet og fortæller crawlere, hvad de må hente. Ahorizon giver fuld score, når filen findes og ikke blokerer hele websitet, 45 % hvis den slet ikke findes, og nul hvis den spærrer alt for almindelige søgemaskiner.

Hvad Ahorizon måler

Kontrollen indgår i 2 af tjekkene. Tærsklerne nedenfor er dem, motoren faktisk regner med.

TjekHvad motoren ser påHvornår kontrollen består
SEO-tjekBrugbar robots.txtOm robots.txt findes på standardadressen, og om den blokerer hele websitet for almindelige søgemaskiner.Fuld score ved en fil, der ikke spærrer alt. En manglende fil giver 45 % — det er ikke en fejl, men et manglende signal. En total blokering giver nul og er markeret som kritisk.
GEO-tjekGenerative søgecrawlere har adgangGEO-tjekket læser samme fil, men ser specifikt efter blokering af AI-tjenesternes søge-agenter.De to kontroller kan give forskellige resultater: en fil, der er fin for Google, kan lukke AI-søgning ude.

Sådan ser det ud i koden

Linjen fra udviklingsmiljøet er den dyreste linje i dansk webudvikling. Den lukker hele sitet.

Før
User-agent: *
Disallow: /
Efter
User-agent: *
Allow: /

Sitemap: https://eksempel.dk/sitemap.xml

Hvad fundet betyder

  • En Disallow: / lukker hele websitet for crawlere. Effekten er total og rammer typisk lige efter en lancering.
  • robots.txt skjuler ikke noget. Filen er offentlig, og en blokeret adresse kan stadig ende i søgeresultatet uden uddrag.
  • En henvisning til sitemap i filen hjælper crawleren med at finde de sider, der ikke er linket til.

Sådan retter du det

  1. Kontrollér filen på domænets rod, ikke i en undermappe — crawlere læser kun /robots.txt.
  2. Fjern Disallow: / i produktion, og lad miljøstyringen ligge i konfigurationen.
  3. Henvis til sitemap-adressen fra filen.
  4. Brug noindex frem for robots.txt, når en side skal ud af søgeresultatet — en blokeret side kan ikke læse sit eget noindex.

Det kan tjekket ikke afgøre

  • Filen er en instruktion, ikke en spærring. Crawlere kan vælge at ignorere den, og filen giver ingen adgangskontrol.
  • Kontrollen ser efter blokering af hele websitet. Regler for enkelte stier vurderes ikke.
  • En manglende robots.txt er ikke i sig selv et problem — alt er tilladt som udgangspunkt.