Velkommen til Viden.AI’s robots.txt-checkerværktøj. Her kan du få en analyse af, hvilke crawlers og bots der har adgang til en række større danske medier og nyhedssites.
Listen opdateres automatisk hver time.
Tabellen viser dels, om mediets robots.txt-fil kunne findes, og dels, om den tillader eller blokerer de listede crawlers. Crawlerne omfatter større søgemaskiner som Google samt nye AI-tjenester som GPTBot, ClaudeBot m.fl.
Hvis du har rettelser eller tilføjelser til listen over medier, er du meget velkommen til at kontakte os på kontakt@viden.ai.
| Site | Land |
Amazonbot
Amazon
|
GPTBot
[OpenAI](https://openai.com)
|
ClaudeBot
[Anthropic](https://www.anthropic.com)
|
anthropic-ai
[Anthropic](https://www.anthropic.com)
|
CCBot
[Common Crawl Foundation](https://commoncrawl.org)
|
PerplexityBot
[Perplexity](https://www.perplexity.ai/)
|
|---|---|---|---|---|---|---|---|
|
Jyllands-Posten
robots.txt findes på: https://jyllands-posten.dk/robots.txt
|
🇩🇰 | ✅ | 🚫 | ✅ | 🚫 | 🚫 | ✅ |
|
Viden.AI
robots.txt findes på: https://viden.ai/robots.txt
|
🇩🇰 | ✅ | 🚫 | 🚫 | 🚫 | 🚫 | 🚫 |
|
Politiken
robots.txt findes på: https://politiken.dk/robots.txt
|
🇩🇰 | ✅ | 🚫 | ✅ | 🚫 | 🚫 | ✅ |
|
Berlingske
robots.txt findes på: https://berlingske.dk/robots.txt
|
🇩🇰 | ✅ | 🚫 | ✅ | ✅ | 🚫 | ✅ |
|
Information
robots.txt findes på: https://www.information.dk/robots.txt
|
🇩🇰 | ✅ | 🚫 | ✅ | 🚫 | 🚫 | ✅ |
|
Kristeligt Dagblad
robots.txt findes på: https://kristeligt-dagblad.dk/robots.txt
|
🇩🇰 | ✅ | 🚫 | 🚫 | ✅ | ✅ | ✅ |
|
BT
robots.txt findes på: https://www.bt.dk/robots.txt
|
🇩🇰 | ✅ | 🚫 | ✅ | ✅ | 🚫 | ✅ |
|
Ekstra Bladet
robots.txt findes på: https://ekstrabladet.dk/robots.txt
|
🇩🇰 | ✅ | 🚫 | ✅ | 🚫 | 🚫 | 🚫 |
|
Weekendavisen
robots.txt findes på: https://www.weekendavisen.dk/robots.txt
|
🇩🇰 | ✅ | 🚫 | ✅ | ✅ | 🚫 | ✅ |
|
JydskeVestkysten
robots.txt findes på: https://jydskevestkysten.dk/robots.txt
|
🇩🇰 | ✅ | 🚫 | ✅ | 🚫 | 🚫 | ✅ |
|
Nordjyske Stiftstidende
robots.txt findes på: https://nordjyske.dk/robots.txt
|
🇩🇰 | ✅ | 🚫 | ✅ | 🚫 | 🚫 | ✅ |
|
Fyens Stiftstidende
robots.txt findes på: https://fyens.dk/robots.txt
|
🇩🇰 | ✅ | 🚫 | ✅ | 🚫 | 🚫 | ✅ |
|
Århus Stiftstidende
robots.txt findes på: https://aarhus-stiftstidende.dk/robots.txt
|
🇩🇰 | ✅ | 🚫 | ✅ | 🚫 | 🚫 | ✅ |
|
Børsen
robots.txt findes på: https://borsen.dk/robots.txt
|
🇩🇰 | ✅ | 🚫 | ✅ | 🚫 | 🚫 | ✅ |
|
Finans
robots.txt findes på: https://finans.dk/robots.txt
|
🇩🇰 | ✅ | 🚫 | ✅ | 🚫 | 🚫 | ✅ |
|
Watch Medier
robots.txt findes på: https://watchmedier.dk/robots.txt
|
🇩🇰 | ✅ | 🚫 | ✅ | 🚫 | 🚫 | ✅ |
|
Økonomisk Ugebrev
robots.txt findes på: https://ugebrev.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Altinget
robots.txt findes på: https://www.altinget.dk/robots.txt
|
🇩🇰 | ✅ | 🚫 | ✅ | 🚫 | 🚫 | ✅ |
|
Zetland
robots.txt findes på: https://www.zetland.dk/robots.txt
|
🇩🇰 | ✅ | 🚫 | ✅ | ✅ | 🚫 | ✅ |
|
Avisen.dk
robots.txt findes på: https://www.avisen.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Fagbladet 3F
robots.txt findes på: https://fagbladet3f.dk/robots.txt
|
🇩🇰 | ✅ | 🚫 | ✅ | 🚫 | 🚫 | ✅ |
|
Computerworld
robots.txt findes på: https://www.computerworld.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Version2
robots.txt findes på: https://www.version2.dk/robots.txt
|
🇩🇰 | 🚫 | 🚫 | 🚫 | 🚫 | 🚫 | 🚫 |
|
Ingeniøren
robots.txt findes på: https://ing.dk/robots.txt
|
🇩🇰 | 🚫 | 🚫 | 🚫 | 🚫 | 🚫 | 🚫 |
|
Atlas
robots.txt findes på: https://atlasmag.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Journalisten
robots.txt findes på: https://journalisten.dk/robots.txt
|
🇩🇰 | ✅ | 🚫 | ✅ | 🚫 | 🚫 | ✅ |
|
Viborg Stifts Folkeblad
robots.txt findes på: https://viborg-folkeblad.dk/robots.txt
|
🇩🇰 | ✅ | 🚫 | ✅ | 🚫 | 🚫 | ✅ |
|
Randers Amtsavis
robots.txt findes på: https://amtsavisen.dk/robots.txt
|
🇩🇰 | ✅ | 🚫 | ✅ | 🚫 | 🚫 | ✅ |
|
Frederiksborg Amts Avis
robots.txt findes på: https://sn.dk/robots.txt
|
🇩🇰 | ✅ | 🚫 | ✅ | 🚫 | 🚫 | ✅ |
|
Bornholms Tidende
robots.txt findes på: https://tidende.dk/robots.txt
|
🇩🇰 | ✅ | 🚫 | ✅ | ✅ | ✅ | ✅ |
|
Sjællandske Nyheder
robots.txt findes på: https://sn.dk/robots.txt
|
🇩🇰 | ✅ | 🚫 | ✅ | 🚫 | 🚫 | ✅ |
|
Nyheder24
robots.txt findes på: https://nyheder24.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Dagens.dk
robots.txt findes på: https://dagens.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
Der Nordschleswiger
robots.txt findes på: https://www.nordschleswiger.dk/robots.txt
|
🇩🇰 | 🚫 | 🚫 | 🚫 | 🚫 | 🚫 | 🚫 |
|
Mandag Morgen
robots.txt findes på: https://www.mm.dk/robots.txt
|
🇩🇰 | ✅ | 🚫 | ✅ | 🚫 | 🚫 | ✅ |
|
Rokokoposten
robots.txt findes på: https://rokokoposten.dk/robots.txt
|
🇩🇰 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
✅ = Tilladt ifølge robots.txt
🚫 = Ikke tilladt ifølge robots.txt
❓ = Kunne ikke bestemme status
⚠️ = Kunne ikke hente robots.txt fil