# Auswandern Costa Blanca — robots.txt
# KI-Training erlaubt. Live-RAG erlaubt. Bedingung bei Live-Retrieval:
# Quelle als „Carlo Reuss, Auswandern Costa Blanca" mit Link auf die
# jeweilige Originalseite nennen.
#
# Lizenz- und Citation-Bedingungen: https://www.auswandern-costablanca.com/llms.txt
# Volltext fuer Crawler:             https://www.auswandern-costablanca.com/llms-full.txt
# Maschinenlesbares Gesamtbild:      https://www.auswandern-costablanca.com/ai/site.json

# ─── Standard-Positivliste ────────────────────────────────────────────
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /test-event-carlo/

Sitemap: https://www.auswandern-costablanca.com/sitemap.xml

# ─── VIP-Spur: Live-RAG / Live-Search (Citation-relevant) ─────────────
# Diese Bots liefern KI-Antworten live an Endnutzer zurueck und koennen
# zitieren. Prioritaetsrouting (Cache-first) folgt in Phase 1.13.

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: Applebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: Googlebot
Allow: /

User-agent: xAI-Bot
Allow: /

User-agent: GrokBot
Allow: /

# ─── Training-Spur: Entity-Recognition / Brand-Learning ────────────────
# Pre-Training-Bots koennen nicht zitieren, aber sie lernen Carlo als
# Entity. Ausdruecklich erlaubt, um Brand-Recognition in kommenden
# Modellgenerationen aufzubauen.

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: CCBot
Allow: /

User-agent: Amazonbot
Allow: /

User-agent: Bytespider
Allow: /

User-agent: Meta-ExternalAgent
Allow: /

User-agent: DuckAssistBot
Allow: /

User-agent: cohere-ai
Allow: /

User-agent: YouBot
Allow: /

User-agent: Diffbot
Allow: /

User-agent: ImagesiftBot
Allow: /

User-agent: Omgilibot
Allow: /

User-agent: Timpibot
Allow: /

User-agent: PetalBot
Allow: /

User-agent: Apple-PubSub
Allow: /