Robot.txt file è un semplice file di testo creato su una directory principale del tuo sito Web che consente ai robot dei motori di ricerca di eseguire la scansione del tuo sito Web per indicizzarlo. Il file robot .txt controlla anche come e a quali file devono accedere i bot, quindi configurarlo correttamente è una cosa essenziale. Puoi utilizzare il file robot.txt per impedire ai bot di indicizzare il tuo sito web nei motori di ricerca.
In questo articolo, ti mostreremo come bloccare i bot modificando il tuo file robot.txt. Segui i passaggi seguenti per iniziare.
- Accedi al tuo account cPanel.
- Apri File Manager.
- Crea un nome file robot.txt e aggiungi il codice seguente per bloccare il bot. Questo codice bloccherà il bot dal motore di ricerca Baidu.
RewriteEngine On RewriteCond %{HTTP_USER_AGENT} Baiduspider [NC] RewriteRule .* – [F,L]
- Ci siamo. Ora, Baidu non sarà più in grado di eseguire il bot del tuo sito web.