# Robots.txt fuer mt.de
# Stand: 18.05.2026
# Modus: Safe Mode (KI geblockt, Social Media & Suche erlaubt)

##################################################
# 1. KI-Crawler & aggressive Scraper sperren
##################################################
# Die Grossen (OpenAI, Google AI, Anthropic, Perplexity)
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: OAI-SearchBot
User-agent: Google-Extended
User-agent: anthropic-ai
User-agent: Claude-Web
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: CCBot

# Apple KI (nur Extended sperren, Siri/Spotlight bleibt an)
User-agent: Applebot-Extended

# Aggressive Scraper / China-Bots
User-agent: Bytespider
User-agent: Diffbot
User-agent: ImagesiftBot
User-agent: omgili
User-agent: omgilibot
User-agent: Scrapy
User-agent: DeepSeekBot
User-agent: DeepSeek

# Meta/Facebook NUR fuer AI-Training sperren
# (Wichtig: FacebookBot hier NICHT sperren, sonst gehen Link-Vorschauen kaputt!)
User-agent: Meta-ExternalAgent

Disallow: /

##################################################
# 2. Regeln fuer alle anderen Crawler (inkl. Googlebot)
##################################################
User-agent: *

# --- Allow rules (Technik & Assets) ---
Allow: /_em_cms/globals/csslibs.php
Allow: /_em_cms/globals/jslibs.php

# --- Disallow rules (MT-spezifisch) ---
Disallow: /tagsuche
Disallow: /_em_cms/
Disallow: /cms7/
Disallow: /frage/
Disallow: /microsites/
Disallow: /suche
Disallow: /profil/
Disallow: /abo/checkout

##################################################
# 3. Sitemaps
##################################################
Sitemap: https://www.mt.de/sitemap_mtrelaunch_index.xml.gz
Sitemap: https://www.mt.de/sitemap_mtrelaunch_index_news.xml.gz
Sitemap: https://www.mt.de/sitemap_mtrelaunch_index_media.xml.gz

##################################################
# 4. Rechtlicher Hinweis / Legal Notice (Par. 44b UrhG)
##################################################
# Hinweis (DE):
# MT.de behaelt sich die Nutzung seiner Inhalte fuer kommerzielles
# Text- und Data-Mining im Sinne von Par. 44b UrhG ausdruecklich vor.
# Der Einsatz von Crawling-Bots, Scrapern oder sonstigen automatisierten Verfahren
# ist ohne vorherige schriftliche Zustimmung untersagt.
#
# Legal notice (EN):
# mt.de expressly reserves the right to use its content for commercial
# text and data mining within the meaning of Par. 44b of the German Copyright Act.
# Any use of robots or automated means without prior written permission is prohibited.