Kort svar: Det afhænger af, hvilken crawler. Trænings-crawlere og søge-agenter er ikke det samme: blokerer du søge-agenten, kan tjenesten ikke hente din side som kilde til et svar. Ahorizons GEO-tjek ser efter, om robots.txt blokerer hele sitet for OAI-SearchBot, Claude-SearchBot eller Claude-User.

Hvad Ahorizon måler

Kontrollen indgår i ét af tjekkene. Tærsklerne nedenfor er dem, motoren faktisk regner med.

TjekHvad motoren ser påHvornår kontrollen består
GEO-tjekGenerative søgecrawlere har adgangOm websitets robots.txt blokerer hele sitet for OAI-SearchBot, Claude-SearchBot eller Claude-User. Rapporten navngiver de agenter, der er blokeret.Fuld score, når ingen af agenterne er blokeret for hele sitet. En eksplicit blokering giver nul — kontrollen er markeret som kritisk.

Sådan ser det ud i koden

En bred blokering rammer også søge-agenten. Skal indholdet holdes ude af træning, men med i svar, skal reglerne skilles ad.

Før
User-agent: *
Disallow: /
Efter
User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

Hvad fundet betyder

  • En søge-agent, der ikke må hente siden, kan ikke citere den. Indholdet er dermed ude af det svar, brugeren får.
  • Mange blokeringer er utilsigtede: en bred regel mod alle bots rammer også de agenter, man gerne ville nås af.
  • Beslutningen er reel og kan gå begge veje. Et website med betalt indhold kan have gode grunde til at lukke af.

Sådan retter du det

  1. Beslut bevidst, hvilke agenter der skal have adgang, i stedet for at lade en bred regel afgøre det.
  2. Skil trænings-crawlere fra søge-agenter, hvis du vil undgå træning men gerne vil kunne citeres.
  3. Kontrollér, at reglerne rent faktisk står i robots.txt på roden af domænet.
  4. Gennemgå reglerne igen, når nye agenter kommer til — listen ændrer sig.

Det kan tjekket ikke afgøre

  • Tjekket undersøger de nævnte søge-agenter. Andre AI-crawlere indgår ikke i kontrollen.
  • Det ser efter blokering af hele sitet. En regel, der kun lukker enkelte stier, findes ikke af denne kontrol.
  • Adgang er ikke det samme som omtale. At en agent må hente siden, garanterer ikke, at tjenesten vælger den som kilde.
  • En manglende robots.txt registreres som fravær af observeret blokering — ikke som en bekræftet adgang.