Beim Erstellen Ihrer Website können Sie eine robots.txt-Datei im Stammverzeichnis Ihrer Website verwenden, um einem Webcrawler mitzuteilen, welche Teile Ihrer Website er erfassen darf. Ebenso kann eine Webseite noindex- und nofollow-Regeln enthalten, um Webcrawler, die auf Ihre Website zugreifen, weiter zu instruieren. Diese Tools können Ihnen helfen, zu kontrollieren, wie Ihre Website in Suchmaschinen angezeigt wird.
​

Ähnlich wie eine Suchmaschine wird Silktide Ihre Website durchsuchen, um alle öffentlich zugänglichen Seiten zu finden. Aber im Gegensatz zu einer Suchmaschine ist das Ziel dieses Crawls, Ihnen zu helfen, Probleme auf jeder Seite Ihrer Website zu finden. Wenn eine Seite Ihrer Website Rechtschreibfehler oder Barrierefreiheitsprobleme enthält, möchten wir, dass Sie darüber informiert werden.
​

Es gibt noch viele Möglichkeiten, wie Sie die Inhalte kontrollieren können, die Silktide auf Ihrer Website scannt. Website-Einstellungen ermöglichen es Ihnen, anzugeben, welche Seiten wir testen sollen und welche nicht. Robots.txt-Dateien können ebenfalls verwendet werden, um zu verhindern, dass Ihre Website von Bots überlastet wird, und wir bieten auch Tools an, um die Geschwindigkeit des Silktide-Crawls auf Ihrer Website anzupassen.
​