Viele Websites beschäftigen sich aktuell mit Themen wie llm.txt oder AI-Optimierung.
Dabei wird eine grundlegende Frage oft übersehen:
Erreichen KI-Bots die Website überhaupt?
Die grundlegende Annahme
Die Annahme ist einfach:
Wenn Inhalte gut strukturiert sind, können sie auch von KI-Systemen verarbeitet werden.
In der Praxis ist das nicht immer der Fall.
Was tatsächlich passiert
In mehreren Tests zeigt sich ein anderes Bild:
KI-bezogene Bots erreichen häufig nicht einmal den eigentlichen Content.
Sie werden bereits vorher blockiert.
Die eigentliche Ursache
Die Gründe liegen oft nicht im Content selbst, sondern in der technischen Infrastruktur:
- Server-Konfigurationen
- Sicherheitsmechanismen
- Firewalls oder Bot-Filter
Diese Systeme blockieren Anfragen, bevor Inhalte überhaupt ausgeliefert werden.
Warum llm.txt nicht das Hauptproblem ist
Das bedeutet:
Die Frage nach llm.txt oder Content-Optimierung greift zu kurz.
Denn Sichtbarkeit beginnt nicht beim Inhalt.
Sie beginnt beim Zugriff.
Wie du den Zugriff selbst testen kannst
Eine einfache Möglichkeit, das zu überprüfen, ist ein Zugriffstest über die Kommandozeile.
Zum Beispiel mit curl und einem spezifischen User-Agent:
curl -A „GPTBot“ https://deine-domain.de
Wenn keine sinnvolle Antwort zurückkommt oder der Zugriff blockiert wird, ist die Website für diesen Bot faktisch nicht erreichbar.
Der entscheidende Punkt
Bevor man über Optimierung spricht, sollte man eine grundlegende Frage klären:
Kann die Website überhaupt von KI-Systemen erreicht werden?
AI Visibility beginnt nicht mit Content.
Sie beginnt mit Zugriff.
Wie du den Zugriff selbst testen kannst – ein Praxisbeispiel
Im Rahmen eines laufenden Tests wurde überprüft, wie unterschiedliche KI-Bots auf die Website zugreifen können und welche Serverantworten sie tatsächlich erhalten.
Die folgenden Screenshots zeigen reale Serverantworten bei direkten Requests mit verschiedenen User-Agents. Dadurch lässt sich nachvollziehen, welche Bots Inhalte tatsächlich erreichen — und welche bereits auf Infrastruktur-Ebene blockiert werden.
Beobachtete Ergebnisse
ChatGPT-User
HTTP/1.1 200 OK
Der Request erhält regulären Zugriff auf die Inhalte.
GPTBot
HTTP/1.1 403 Forbidden
Der Zugriff wird serverseitig blockiert.
ClaudeBot
→ HTTP/1.1 403 Forbidden
→ Auch dieser KI-Crawler erreicht die Inhalte nicht.
Der Test zeigt deutlich:
Nicht jede KI kann Inhalte automatisch abrufen — selbst dann nicht, wenn die Website grundsätzlich öffentlich erreichbar ist.
Was passiert hier tatsächlich – und welche Auswirkungen hat das für die Website?
Der Unterschied zwischen ChatGPT-User und GPTBot
Der Request mit ChatGPT-User erhält Zugriff auf die Website und kann Inhalte abrufen. Technisch bedeutet das: Inhalte könnten innerhalb einzelner ChatGPT-Anfragen erreichbar sein.
Der eigentliche Crawling- und Trainingszugriff erfolgt jedoch typischerweise über spezialisierte Bots wie GPTBot.
Wird dieser Zugriff blockiert, entsteht ein wichtiger Unterschied:
- Inhalte können eventuell punktuell gelesen werden
- die Website wird aber nicht systematisch gecrawlt
- indexiert oder als größere Wissensbasis verarbeitet.
Dadurch sinkt die Wahrscheinlichkeit, dass Inhalte dauerhaft oder umfassend innerhalb KI-basierter Systeme sichtbar werden.
Die Blockierung passiert bereits vor dem eigentlichen Inhalt
Die gezeigten 403 Forbidden-Antworten entstehen bereits auf Server- oder Infrastruktur-Ebene.
Das bedeutet:
Die Anfrage erreicht den eigentlichen Website-Content oft gar nicht mehr.
In solchen Fällen helfen nachgelagerte Maßnahmen wie:
robots.txtllms.txt- strukturierte Daten
- gute Content-Struktur
nur eingeschränkt oder teilweise überhaupt nicht.
Denn die KI-Bots werden bereits „an der Eingangstür“ der Website abgefangen — etwa durch:
- Firewalls
- Bot-Filter
- Sicherheitsregeln
- CDN-Konfigurationen
- Hosting-Infrastruktur
Gerade Bots wie GPTBot werden häufig mit Crawling- und Datensammlungsprozessen in Verbindung gebracht, die für zukünftige KI-Modelle, Wissensdatenbanken oder Retrieval-Systeme relevant sein können.
Wird dieser Zugriff blockiert, kann das die potenzielle Sichtbarkeit einer Website innerhalb KI-basierter Systeme deutlich einschränken.
Du möchtest eine umfangreiche Liste gängiger KI-Bots und ihrer User-Agents?
Dann sende mir einfach eine E-Mail an ki@gerd-e.com.