# Robots.txt für Mira's World
# Letzte Aktualisierung: 2024

# Hauptsuchmaschinen - voller Zugriff
User-agent: Googlebot
Allow: /
Crawl-delay: 0

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-Video
Allow: /

User-agent: Bingbot
Allow: /
Crawl-delay: 1

User-agent: Slurp
Allow: /
Crawl-delay: 1

User-agent: DuckDuckBot
Allow: /
Crawl-delay: 1

User-agent: Baiduspider
Allow: /
Crawl-delay: 2

User-agent: Yandex
Allow: /
Crawl-delay: 2

# Social Media Bots
User-agent: Twitterbot
Allow: /

User-agent: facebookexternalhit
Allow: /

User-agent: LinkedInBot
Allow: /

User-agent: Pinterestbot
Allow: /
Crawl-delay: 1

User-agent: instagram
Allow: /

User-agent: WhatsApp
Allow: /

# Blockierte Bereiche für alle Crawler
User-agent: *
# Admin-Bereich schützen
Disallow: /admin
Disallow: /admin/*
# Auth-Seiten schützen
Disallow: /auth
Disallow: /auth/*
# API-Endpunkte schützen
Disallow: /api/
Disallow: /functions/
# Temporäre/Cache-Dateien
Disallow: /tmp/
Disallow: /*.json$
# Query-Parameter für Suche/Filter erlauben
Allow: /archive?*
Allow: /shop-my-look?*
# Tracking-Parameter blockieren
Disallow: /*?utm_*
Disallow: /*&utm_*
Disallow: /*?ref=*
Disallow: /*&ref=*
# Alle anderen Bereiche erlauben
Allow: /

# Bösartige/unerwünschte Bots blockieren
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: SeznamBot
Crawl-delay: 5

# GPTBot und AI Crawler - optional blockieren
User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Claude-Web
Disallow: /

# Sitemap-Verweis
Sitemap: https://miras-world.com/sitemap.xml