Hvad er en robots.txt-fil?
En robots.txt-fil er en speciel fil, der fortæller bots, hvilket indhold de bør undgå at downloade fra et website.
Bemærk, at en robots.txt-fil ikke håndhæves, dvs. det er op til botten, om den vil overholde det, der står.
Respekterer Silktide robots.txt?
Som standard respekterer Silktide bevidst ikke robots.txt-filen.
Dette skyldes, at vi for de fleste formål tester, om et website fungerer korrekt for slutbrugere, og efter vores erfaring hæmmer mange robots.txt-filer dette. Mange blokerer brugerrettet indhold, der ellers ikke ville blive testet.
Bemærk, at selv Google ikke fuldt ud overholder robots.txt af lignende årsager.
Hvordan håndhæver man robots.txt
Hvis du er sikker på, at du ønsker at håndhæve din robots.txt-fil, kan du kopiere reglerne ind i indstillingerne for dit/dine website(s). Kontakt os, og vi hjælper dig gerne med at sætte det op for dig.