Når du bygger din side, kan du bruge en robots.txt-fil i roden af din side for at fortælle en webcrawler, hvilke dele af din side den kan fange. På samme måde kan en webside indeholde noindex og nofollow regler for yderligere at instruere webcrawlere, der får adgang til din side. Disse værktøjer kan hjælpe dig med at kontrollere, hvordan din side vises i søgemaskiner.
​

Ligesom en søgemaskine vil Silktide gennemgå din side for at finde alle offentligt tilgængelige sider, den kan. Men i modsætning til en søgemaskine er målet med denne gennemgang at hjælpe dig med at finde problemer på enhver side af din side. Hvis en side på din side indeholder stavefejl eller tilgængelighedsproblemer, vil vi gerne have, at du ved det.
​

Der er stadig mange måder, hvorpå du kan kontrollere det indhold, som Silktide scanner inden for dit websted. Webstedsindstillinger giver dig mulighed for at angive, hvilke sider vi skal og ikke skal teste. Robots.txt-filer kan også bruges til at forhindre, at din side bliver overvældet af bots, og ligeledes giver vi også værktøjer til at justere hastigheden af Silktides gennemgang på dit websted.
​