Velkommen til Viden.AI’s robots.txt-checkerværktøj. Her kan du få en analyse af, hvilke crawlers og bots der har adgang til en række større danske medier og nyhedssites.
Listen opdateres automatisk hver time.
Tabellen viser dels, om mediets robots.txt-fil kunne findes, og dels, om den tillader eller blokerer de listede crawlers. Crawlerne omfatter større søgemaskiner som Google samt nye AI-tjenester som GPTBot, ClaudeBot m.fl.
Hvis du har rettelser eller tilføjelser til listen over medier, er du meget velkommen til at kontakte os på kontakt@viden.ai.
| Site | Land |
GPTBot
OpenAI – se https://openai.com
|
bingbot
Microsoft
|
Google-Extended
Google – se https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers
|
ClaudeBot
Anthropic – se https://www.anthropic.com
|
CCBot
Common Crawl Foundation – se https://commoncrawl.org
|
PerplexityBot
Perplexity – se https://www.perplexity.ai/
|
|---|---|---|---|---|---|---|---|
|
Jyllands-Posten
robots.txt findes på: https://jyllands-posten.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | 🚫 | ✅ | 🚫 | 🚫 |
|
Viden.AI
robots.txt findes på: https://viden.ai/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Politiken
robots.txt findes på: https://politiken.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | 🚫 | ✅ | 🚫 | ✅ |
|
Berlingske
robots.txt findes på: https://berlingske.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | ✅ | ✅ | 🚫 | ✅ |
|
Information
robots.txt findes på: https://www.information.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | 🚫 | 🚫 | 🚫 | 🚫 |
|
Kristeligt Dagblad
robots.txt findes på: https://kristeligt-dagblad.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | 🚫 | 🚫 | 🚫 | 🚫 |
|
BT
robots.txt findes på: https://www.bt.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | ✅ | ✅ | 🚫 | ✅ |
|
Ekstra Bladet
robots.txt findes på: https://ekstrabladet.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | 🚫 | 🚫 | 🚫 | 🚫 |
|
Weekendavisen
robots.txt findes på: https://www.weekendavisen.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | ✅ | ✅ | 🚫 | ✅ |
|
JydskeVestkysten
robots.txt findes på: https://jydskevestkysten.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | 🚫 | ✅ | 🚫 | ✅ |
|
Nordjyske Stiftstidende
robots.txt findes på: https://nordjyske.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | ✅ | ✅ | 🚫 | ✅ |
|
Fyens Stiftstidende
robots.txt findes på: https://fyens.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | 🚫 | ✅ | 🚫 | ✅ |
|
Århus Stiftstidende
robots.txt findes på: https://aarhus-stiftstidende.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | 🚫 | ✅ | 🚫 | ✅ |
|
Børsen
robots.txt findes på: https://borsen.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | 🚫 | ✅ | 🚫 | ✅ |
|
Finans
robots.txt findes på: https://finans.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | 🚫 | ✅ | 🚫 | 🚫 |
|
Watch Medier
robots.txt findes på: https://watchmedier.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | 🚫 | ✅ | 🚫 | ✅ |
|
Økonomisk Ugebrev
robots.txt findes på: https://ugebrev.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Altinget
robots.txt findes på: https://www.altinget.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | 🚫 | ✅ | 🚫 | ✅ |
|
Zetland
robots.txt findes på: https://www.zetland.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | 🚫 | ✅ | 🚫 | ✅ |
|
Avisen.dk
robots.txt findes på: https://www.avisen.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Fagbladet 3F
robots.txt findes på: https://fagbladet3f.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | 🚫 | ✅ | 🚫 | ✅ |
|
Computerworld
robots.txt findes på: https://www.computerworld.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Version2
robots.txt findes på: https://www.version2.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | 🚫 | 🚫 | 🚫 | 🚫 |
|
Ingeniøren
robots.txt findes på: https://ing.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | 🚫 | 🚫 | 🚫 | 🚫 |
|
Atlas
robots.txt findes på: https://atlasmag.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Journalisten
robots.txt findes på: https://journalisten.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | ✅ | ✅ | 🚫 | ✅ |
|
Viborg Stifts Folkeblad
robots.txt findes på: https://viborg-folkeblad.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | 🚫 | ✅ | 🚫 | ✅ |
|
Randers Amtsavis
robots.txt findes på: https://amtsavisen.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | 🚫 | ✅ | 🚫 | ✅ |
|
Frederiksborg Amts Avis
robots.txt findes på: https://sn.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | ✅ | ✅ | 🚫 | ✅ |
|
Bornholms Tidende
Kunne ikke hente robots.txt fra: https://tidende.dk/robots.txt
|
🇩🇰 | 🚫 | 🚫 | 🚫 | 🚫 | 🚫 | 🚫 |
|
Sjællandske Nyheder
robots.txt findes på: https://sn.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | ✅ | ✅ | 🚫 | ✅ |
|
Nyheder24
robots.txt findes på: https://nyheder24.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Dagens.dk
robots.txt findes på: https://dagens.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Der Nordschleswiger
robots.txt findes på: https://www.nordschleswiger.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | 🚫 | 🚫 | 🚫 | 🚫 |
|
Mandag Morgen
robots.txt findes på: https://www.mm.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | 🚫 | ✅ | 🚫 | ✅ |
|
Rokokoposten
robots.txt findes på: https://rokokoposten.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
DR
robots.txt findes på: https://dr.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | 🚫 | ✅ | 🚫 | 🚫 |
|
TV 2
robots.txt findes på: https://tv2.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | 🚫 | 🚫 | 🚫 | 🚫 |
|
DMI
robots.txt findes på: https://dmi.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Wikipedia
robots.txt findes på: https://wikipedia.org/robots.txt
|
🌍 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Skat
robots.txt findes på: https://skat.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Sundhed.dk
robots.txt findes på: https://sundhed.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Lex.dk
robots.txt findes på: https://lex.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | ✅ | 🚫 | 🚫 | 🚫 |
|
Videnskab.dk
robots.txt findes på: https://videnskab.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | ✅ | ✅ | 🚫 | ✅ |
|
Netdoktor
robots.txt findes på: https://netdoktor.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Valdemarsro
robots.txt findes på: https://valdemarsro.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | ✅ | ✅ | ✅ | ✅ |
|
DBA
robots.txt findes på: https://dba.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Danske Spil
robots.txt findes på: https://danskespil.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | 🚫 | ✅ | ✅ |
|
Virk
robots.txt findes på: https://virk.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Ordbogen.com
robots.txt findes på: https://ordbogen.com/robots.txt
|
🇩🇰 | 🚫 | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Boligsiden
Kunne ikke hente robots.txt fra: https://boligsiden.dk/robots.txt
|
🇩🇰 | 🚫 | 🚫 | 🚫 | 🚫 | 🚫 | 🚫 |
|
Bilbasen
robots.txt findes på: https://bilbasen.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
FDM
robots.txt findes på: https://fdm.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Bolius
robots.txt findes på: https://bolius.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Retsinformation
robots.txt findes på: https://retsinformation.dk/robots.txt
|
🇩🇰 | 🚫 | ✅ | 🚫 | 🚫 | 🚫 | ✅ |
|
Danmarks Statistik
robots.txt findes på: https://dst.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
KL
robots.txt findes på: https://kl.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Trafikstyrelsen
robots.txt findes på: https://trafikstyrelsen.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Fødevarestyrelsen
robots.txt findes på: https://foedevarestyrelsen.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Miljøportal
robots.txt findes på: https://miljoeportal.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Naturstyrelsen
robots.txt findes på: https://naturstyrelsen.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
VisitDenmark
robots.txt findes på: https://visitdenmark.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Planinfo
robots.txt findes på: https://planinfo.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Uddannelsesguiden
robots.txt findes på: https://uddannelsesguiden.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Energinet
robots.txt findes på: https://energinet.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Tænk
Kunne ikke hente robots.txt fra: https://taenk.dk/robots.txt
|
🇩🇰 | 🚫 | 🚫 | 🚫 | 🚫 | 🚫 | 🚫 |
|
Bibliotek.dk
robots.txt findes på: https://bibliotek.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
✅ = Tilladt ifølge robots.txt
🚫 = Ikke tilladt ifølge robots.txt
❓ = Kunne ikke bestemme status
⚠️ = Kunne ikke hente robots.txt fil