Was ist eine robots.txt-Datei?
Eine robots.txt-Datei ist eine spezielle Datei, die Bots mitteilt, welche Inhalte sie von einer Website nicht herunterladen sollten.
Bitte beachten Sie, dass eine robots.txt-Datei nicht durchgesetzt wird, d. h. es liegt am Bot, ob er sich daran hält oder nicht.
Respektiert Silktide robots.txt?
Standardmäßig respektiert Silktide die robots.txt-Datei absichtlich nicht.
Dies liegt daran, dass wir in den meisten Fällen testen, ob eine Website für Endbenutzer korrekt funktioniert, und nach unserer Erfahrung behindern viele robots.txt-Dateien dies. Viele blockieren benutzerorientierte Inhalte, die sonst nicht getestet würden.
Beachten Sie, dass selbst Google robots.txt nicht vollständig beachtet, aus ähnlichen Gründen.
Wie man robots.txt durchsetzt
Wenn Sie sicher sind, dass Sie Ihre robots.txt-Datei durchsetzen möchten, können Sie die Regeln in die Einstellungen Ihrer Website(s) kopieren. Kontaktieren Sie uns, und wir richten dies gerne für Sie ein.