Website-Check Scherzinger Website verbessern lassen Website prüfen

Crawler-Information

ScherzingerAuditBot

Sie haben unseren Crawler in Ihren Server-Logs gesehen? Hier steht, was er tut, warum er kam und wie Sie ihn sperren.

Kennung

Der Crawler meldet sich mit diesem User-Agent:

ScherzingerAuditBot/1.0 (+https://webseiten-check.com/bot/)

Für die robots.txt lautet das Kürzel ScherzingerAuditBot.

Warum er Ihre Website abgerufen hat

Jemand hat Ihre Adresse in den Website-Check Scherzinger eingegeben, um eine Analyse zu starten – häufig der Inhaber oder die Agentur der Website. Der Crawler läuft nur auf Anfrage; er durchsucht das Internet nicht selbstständig und baut keinen Suchindex auf.

Wie er sich verhält

  • Höchstens 25 Seiten je Analyse, bis Linktiefe 3, Zeitbudget rund 90 Sekunden, höchstens vier Abrufe gleichzeitig.
  • Er liest Ihre robots.txt und hält sich an Sperren für ScherzingerAuditBot und für *.
  • Er ruft nur öffentlich zugängliche Seiten ab, wie ein Besucher: keine Anmeldung, keine Formulare, keine Suchfelder.
  • Er führt keine Sicherheits-Scans durch, rät keine Verzeichnisse wie /admin oder Sicherungsdateien und umgeht keinen Bot-Schutz.
  • Die gleiche Adresse wird innerhalb von 24 Stunden in der Regel nicht erneut abgerufen; das vorhandene Ergebnis wird wiederverwendet.
  • Zusätzlich misst Google PageSpeed Insights die Ladezeit Ihrer Startseite. Diese Abrufe kommen von Google, nicht von unserem Server.

Welche Adressen er außer Ihren Seiten abruft

Neben den verlinkten Seiten fragt der Crawler wenige feste Adressen ab, die jede Suchmaschine ebenfalls kennt. Das ist die vollständige Liste:

  • /robots.txt und die darin oder unter /sitemap.xml genannten Sitemaps
  • /llms.txt, eine optionale Datei für KI-Systeme
  • die Startseite über http:// und mit bzw. ohne www., um Weiterleitungen zu prüfen
  • eine zufällige, nicht vorhandene Adresse, um zu sehen, ob Ihre Fehlerseite korrekt mit dem Status 404 antwortet
  • eine Stichprobe von bis zu 20 externen Links, um defekte Verweise zu finden

Außerdem liest der Check öffentliche DNS-Einträge Ihrer Domain (MX, SPF, DMARC und gängige DKIM-Schlüssel), um zu prüfen, ob Ihre E-Mail-Adresse vor gefälschten Absendern geschützt ist. Eine Verbindung zu Ihrem Mailserver baut er dabei nicht auf.

Was mit den Ergebnissen passiert

Gespeichert werden die Befunde der Analyse: Adresse, Statuscodes, Seitentitel, Wortzahlen, Antwortzeiten und kurze Textausschnitte als Beleg für einen Befund. Den vollständigen Quelltext Ihrer Seiten legen wir nicht ab. Ergebnisse ohne Konto werden nach 90 Tagen automatisch gelöscht. Wer den Link zu einem Ergebnis kennt, kann es in dieser Zeit aufrufen; Suchmaschinen ist das Indexieren dieser Seiten untersagt (noindex).

So sperren Sie den Crawler

Tragen Sie in die Datei /robots.txt Ihrer Website ein:

User-agent: ScherzingerAuditBot Disallow: /

Die Startseite und die robots.txt selbst werden zu Beginn einer Analyse noch abgerufen, um die Regeln überhaupt lesen zu können. Alle weiteren Seiten werden dann nicht mehr besucht. Einzelne Bereiche sperren Sie mit einer konkreten Pfadangabe, zum Beispiel Disallow: /intern/.

Kontakt

Fragen, Beschwerden oder ein Problem mit dem Crawler? Schreiben Sie an info@webagentur-scherzinger.com. Betreiber ist die Webagentur Scherzinger, Impressum.