robots.txt

En textfil som lagras på en webbplats server som innehåller grundläggande regler för indexering robotar som ”krypa” på webbplatsen. Denna fil kan du specifikt tillåta (eller förhindra) vissa filer och mappar från att ses av band bots, som kan hålla dina indexerade sidor begränsad till endast de sidor du önskar.

Lämna en kommentar