Come impedire ai motori di ricerca di indicizzare il tuo sito

Se hai un sito o una pagina di sviluppo che non vuoi che i motori di ricerca indicizzino, puoi notare che attraverso l'uso di un file robots.txt. Un file robots.txt indicherà ai robot di non visitare nessuna pagina di un sito.

Blocco di tutti i robot dall'intero sito

1. Crea un file di testo denominato robots.txt
2. Digita quanto segue nel file:

User-agent: *
Disallow: / 

3. Salva il file di testo e posizionalo nella radice dei file del tuo sito nella cartella httpdocs. Vedere Come utilizzare FTP. Questo file è rispettato dai motori di ricerca legittimi ma può essere ignorato dalla progettazione del codice con intenti dannosi. Per ulteriori informazioni sui file robots.txt puoi visitare questo URL:http://www.robotstxt.org/robotstxt.html.