KI-Sichtbarkeit

Autor: Gerd-E.

  • Wann AI Visibility wirklich beginnt: Ein reales Experiment mit GPTBot

    Intro

    Viele Websites optimieren Inhalte für KI-Systeme.
    Doch eine grundlegende Frage wird oft übersehen:

    Können AI-Bots die Website überhaupt erreichen?

    Ein aktuelles Experiment auf gerd-e.com zeigt, wie entscheidend dieser Punkt ist.

    Ausgangssituation: AI-Bots blockiert

    Vor dem Test zeigte sich ein klares Bild:

    • GPTBot → 403
    • ClaudeBot → 403

    Die Website war für relevante AI-Systeme faktisch unsichtbar.

    Der entscheidende Moment: Zugriff freigegeben

    Am Vormittag wurde die Blockade aufgehoben.
    Um 10:13 Uhr kam die Bestätigung:

    AI-Bots können jetzt auf die Website zugreifen.

    Was danach passierte (reale Daten)

    12:16 Uhr → erste GPTBot-Anfragen mehrere Requests innerhalb von Sekunden Zugriff auf:

    • 12:16 Uhr → erste GPTBot-Anfragen
    • mehrere Requests innerhalb von Sekunden
    • Zugriff auf:
    • Kategorien
    • Feeds
    • Sprachversionen
    • einzelne Inhalte

    dabei wichtig

    Die Bots starteten nicht direkt mit dem Content, sondern mit der Struktur der Website.

    Wichtige Erkenntnisse aus den Logs

    1. Zugriff ist die Voraussetzung für AI Visibility
      Ohne Zugriff keine Verarbeitung – unabhängig vom Content.
    2. Bots starten bei Struktur, nicht bei Content
      Kategorien, Feeds und Übersichtsseiten sind zentrale Einstiegspunkte.
    3. Veränderungen werden schnell sichtbar
      Zwischen Freigabe und erstem Crawl lagen nur wenige Stunden.

    Was das für Websites bedeutet

    Viele Diskussionen rund um GEO konzentrieren sich auf:

    • Content
    • Struktur
    • Formulierung

    Diese Aspekte sind wichtig – aber erst relevant, wenn:

    AI-Bots die Website überhaupt erreichen können

    Fazit

    AI Visibility beginnt nicht mit Content – sondern mit Zugriff.

  • Erreichen KI-Bots deine Website überhaupt?

    Viele Websites beschäftigen sich aktuell mit Themen wie llm.txt oder AI-Optimierung.

    Dabei wird eine grundlegende Frage oft übersehen:

    Erreichen KI-Bots die Website überhaupt?

    Die grundlegende Annahme

    Die Annahme ist einfach:

    Wenn Inhalte gut strukturiert sind, können sie auch von KI-Systemen verarbeitet werden.

    In der Praxis ist das nicht immer der Fall.

    Was tatsächlich passiert

    In mehreren Tests zeigt sich ein anderes Bild:

    KI-bezogene Bots erreichen häufig nicht einmal den eigentlichen Content.

    Sie werden bereits vorher blockiert.

    Die eigentliche Ursache

    Die Gründe liegen oft nicht im Content selbst, sondern in der technischen Infrastruktur:

    • Server-Konfigurationen
    • Sicherheitsmechanismen
    • Firewalls oder Bot-Filter

    Diese Systeme blockieren Anfragen, bevor Inhalte überhaupt ausgeliefert werden.

    Warum llm.txt nicht das Hauptproblem ist

    Das bedeutet:

    Die Frage nach llm.txt oder Content-Optimierung greift zu kurz.

    Denn Sichtbarkeit beginnt nicht beim Inhalt.

    Sie beginnt beim Zugriff.

    Wie du den Zugriff selbst testen kannst

    Eine einfache Möglichkeit, das zu überprüfen, ist ein Zugriffstest über die Kommandozeile.

    Zum Beispiel mit curl und einem spezifischen User-Agent:

    curl -A „GPTBot“ https://deine-domain.de

    Wenn keine sinnvolle Antwort zurückkommt oder der Zugriff blockiert wird, ist die Website für diesen Bot faktisch nicht erreichbar.

    Der entscheidende Punkt

    Bevor man über Optimierung spricht, sollte man eine grundlegende Frage klären:

    Kann die Website überhaupt von KI-Systemen erreicht werden?

    AI Visibility beginnt nicht mit Content.

    Sie beginnt mit Zugriff.