Adicionar ou Remover indexações com robots

outubro 26, 2011 em SEO

Existe um arquivo específico que é procurado pelas ferramentas de busca para saber quais partes do site não devem ser indexados. É o “robots.txt“. Ele deve ser colocar no diretório raiz do site e é o primeiro arquivo que os bots de busca procuram em um site. Nele você pode escolher os diretórios e arquivos que você deseja excluir das ferramentas de busca. O uso mais comum é evitar indexação de páginas logadas ou que possuam arquivos privados.

Este é um exemplo de arquivo que impediria a indexação do site inteiro por todas as ferramentas de busca:
User-agent: *
Disallow: /

O asterisco significa “tudo”, ou seja, todos os bots de busca devem seguir as regras abaixo.

Um exemplo prático seria evitar a indexação de pastas do seu site que tem programas ou partes privadas. O exemplo abaixo evitaria a indexação de quatro diretórios.

User-agent: *
Disallow: /cgi-bin/ #scripts e programas
Disallow: /logado/
Disallow: /tmp/ #parte de testes
Disallow: /private/ #arquivos da empresa

O sinal de tralha serve para comentários como informar o motivo da exclusão. O comentário não influencia em nada o bot, porém serve para facilitar o entendimento do motivo da exclusão para a equipe que administra o site.

Se um site não tiver este arquivo, a ferramenta de busca irá indexar normalmente o seu site. Se preferir, você pode criar o arquivo “robots.txt” que permite a indexação total:
User-agent: *
Disallow:

Você pode criar regras específicas para cada bot de busca. Para isto basta trocar o asterisco do User-agent pelo nome do bot. Cada bot ou spider tem um nome específico. Eles também são conhecidos como agentes. O agente do Google é o Googlebot, o do Yahoo! é o Slurp e o da MSN Busca é o MSNBot. Existem bots também para imagens por exemplo. O do Google é o Googlebot-Image, o do Yahoo é o yahoo-mmcrawler e o da MSN Busca o psbot. Um exemplo para excluir a indexação do Google seria:
User-agent: Googlebot
Disallow: /

Com isto, nada do site seria indexado pelo Google, mas outras ferramentas poderiam indexar normalmente.

O Robots.txt é extremamente útil, pois permite a retirada automatizada de páginas e do conteúdo de um site das páginas de resultado dos sites de busca. Ele também é bastante flexível permitindo que várias regras sejam aplicadas no mesmo arquivo garantindo comportamento distinto entre os bots.

 

Conteúdo pertencente à: http://www.marketingdebusca.com.br/robotstxt-na-indexacao-de-sites/

Redirecionamento 301

outubro 4, 2011 em htaccess, Php, SEO

O Redirecionamento 301 nada mais é que a alteração de forma lógica de uma página que não existe para uma nova página.
Isto geralmente ocorre quando criamos novas página e alteramos estruturas que já estão hankeadas nos robos de busca.

 

Com PHP
<?php
// redirecionamento permanente
header(“HTTP/1.1 301 Moved Permanently”);
header(“Location: http://www.faxteleletronica.com”);
exit();
?>

Com Rewrite
RewriteCond %{HTTP_HOST} !^www [NC]
RewriteRule ^(.*)$ http://www.%{HTTP_HOST}/$1 [R=301,L]

 

Sites de referência
http://cursodeformacaoseo.griff.art.br/redirecionamento-301/
http://www.google.com/support/webmasters/bin/answer.py?hl=pt-BR&answer=93633
http://www.google.com/support/forum/p/webmasters/thread?tid=133f060eea72911c&hl=pt-BR
http://www.mestreseo.com.br/seo/redirecionamento-301-em-php-asp-htaccess-coldfusion-e-ruby-on-rails#301-php
http://wiki.locaweb.com.br/pt-br/Redirecionamento_301
http://www.marketingdebusca.com.br/redirecionar-paginas-301-redirect/

SEO – Resultados Naturais ou Orgânicos

setembro 18, 2011 em SEO

SEO – Resultados Naturais ou Orgânicos

No link abaixo, existe um texto bem descritivo falando sobre resultados Naturais do Google.

Cofira e tire todas as suas dúvidas.

Site: http://www.seomarketing.com.br/resultados-naturais.html