Os Robots, Crawlers ou até mesmo Spiders (dentro de um universo Web), são mecanismos que buscam automaticamente conteúdo web para ser indexado em sistemas de busca como o do Google, Yahoo Search, MSN Search, etc.

Controlamos as atividades dos Robots através de um arquivo chamado robots.txt, que deve ser colocado no diretório raiz do site em questão.

O robots.txt é um arquivo de texto que atua como filtro para os mecanismos de busca. Ele permite ou bloqueia o acesso de partes ou totalidade do site. Seu trabalho funciona assim: Um Robot vai fazer a busca do site http://www.exemplosite.com.br/, antes é verificado http://www.exemplosite.com.br/robots.txt.

[Leia mais...]

Como lidar com erros 404 no seu site, sem sacrificar a experiência do usuário e mantendo uma boa relação com os mecanismos de busca (SEO)?

Muitas vezes devido a uma mudança na estrutura do site, links passam a apontar para uma página que deixou de existir ou foi movida para um novo endereço. Além do impacto na usabilidade do site, isso pode afetar a performance no site nos mecanismos de busca perdendo posicionamento pois todo o histórico da página antiga não é passada para a nova página.

[Leia mais...]

Recentemente me fizeram uma série de perguntas sobre Backlinks e o parâmetro “link:” do Google, com tantas dúvidas surgindo tomei a iniciativa de escrever um pouco sobre essa funcionalidade e comentar os resultados que ela apresenta.

[Leia mais...]