Como bloquear bots de busca pelo .htaccess
Neste pequeno tutorial, vou explicar como bloquear bots de busca pelo arquivo .htaccess de maneira muito simples.
– O que são bots de busca?
bots ou robôs de busca são programas/scripts que visitam websites pela Internet de maneira automática, vasculhando informações para algum tipo de catálogo, normalmente de sites de busca. Por exemplo, o Google possui seu próprio bot, o Googlebot.
Eles também são chamados de Web crawlers.
O problema que nem todos são seguros e bem-intencionados, muitos são utilizados para tentar buscar informações confidenciais de websites e são estes bots que devemos impedir que visitem nosso domínio.
– Como editar o arquivo .htaccess para proceder com os bloqueios
O arquivo .htaccess é um arquivo de configuração do Apache, onde você poderá incluir várias configurações adicionais para sua conta na OGigante.
Você deve criar um arquivo exatamente com o nome .htaccess (sem nada antes do ponto) e incluir o seguinte código:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Stripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus
RewriteRule ^.* - [F,L]
— A primeira e a segunda linha do código acima são sempre iguais.
Este é um código de exemplo para bloqueio de alguns bots, para entender bem o seu funcionamento, segue abaixo a explicação do funcionamento de uma linha:
RewriteCond %{HTTP_USER_AGENT} – Esta parte é sempre igual
^GetRight – Aqui você vai definir o nome do bot, que no caso é o “GetRight” (sem aspas). Sempre use o sinal de acento circunflexo (^) antes do nome do bot.
[OR] – Aqui você está informando que na linha de baixo irá ser incluído mais um bot. Quando for o último (como o Zeus do exemplo acima), não coloque o [OR]
Uma lista atualizada de bots maliciosos pode ser encontrada no seguinte endereço:
http://www.botreports.com/badbots/index.shtml
Em caso de dúvidas, não deixe de entrar em contato com nosso suporte pelo link: