← Cartlantis Wiki

Auffindbarkeit

robots.txt & KI-Bots

Steuert, welche Crawler auf deine Seite dürfen — inkl. GPTBot, ClaudeBot, PerplexityBot, Google-Extended.

robots.txt liegt unter /robots.txt und enthält User-agent- und Disallow-Regeln.

Für Agent-Readiness kritisch: KI-Retrieval-Bots dürfen nicht pauschal geblockt werden. Wer GPTBot & Co. sperrt, taucht in KI-Antworten schlichtweg nicht auf.

Wichtige KI-Bots: GPTBot (OpenAI Training), OAI-SearchBot (ChatGPT Search live), ClaudeBot, PerplexityBot, Google-Extended (Gemini Training), Bingbot (Copilot).