Se existe um sonho dentro do coração de qualquer pessoa que possui um site é estar na primeira página do Google ou até mesmo rankeado em primeiro lugar no buscador. Afinal de contas, você investiu tempo e energia para criar o melhor site possível. Por que você não ia querer que todo o esforço fosse recompensado, não é mesmo? Entretanto, você sabe qual é o primeiro passo para conseguir uma posição no Google? Entrar no Google. Algumas vezes sites nem chegam perto de serem indexados.
No universo online, quando isso acontece, é um desastre. Se mecanismos de busca não identificam seu site ele será invisível para 99,999% das pessoas que estão na internet e dessa forma, você pode esquecer o tráfego orgânico. Claro, há fontes alternativas de tráfego, mas visitantes de mecanismos de busca continuam sendo os mais importantes e de alto rendimento. Para impedir este tipo de catástrofe, neste artigo, olharemos as razões pelas quais você pode ser ignorado pelo Google e depois, vamos ver passo à passo formas para abordar e assegurar que isso não aconteça.
Como o Google encontra seu site?
Antes de começarmos, nós precisamos esclarecer alguns vocabulários básicos de mecanismos de busca. Com isto, ficará mais fácil para você entender.
Para achar conteúdo para seus resultados de busca, o Google conta com o que eles chamam de search spiders – ou aranhas de busca. Elas são programas automatizados que vasculham a internet e repassam o conteúdo de sites para o mecanismo de busca. Os maiores mecanismos tem suas próprias aranhas (por exemplo o Google tem o Googlebot) e existem muitos outros por aí. O processo de explorar sites e os conteúdos se chama crawling – ou em bom português, rastreador. É o que o Googlebot faz para entender do que se tratam as suas publicações e páginas. A próxima etapa é o que chamamos de indexing – ou indexação. Significa que seu conteúdo foi considerado digno pelo pequeno robô, foi processado e adicionado para a indexação do Google. Esse index, em retorno, alimenta o resultado de busca. Até aqui está dando para entender?
Por que o site não é indexado pelo Google?
O primeiro passo para ver se seu conteúdo apareceu no radar do Google é digitar site:seudomínio.com na barra de busca do Google (naturalmente, onde está escrito seudomínio você digitará de fato, o nome do seu domínio). Isto mostrará todas as páginas que estão sob seu domínio que tenham sido indexadas pelo Google. Se os resultados estiverem vazios, isto significa, que o buscador não tem ideia do seu conteúdo ou existe alguma coisa em seu site que está impedindo dele ser indexado. Isto pode acontecer por várias razões:
- Problemas técnicos em seu servidor ou configuração;
- Violação de algum termo de uso do Google e foi penalizado;
- Seu site em WordPress ou as configuração de SEO estão ruins;
- Nenhuma medida foi tomada para ser indexado ou até mesmo, notado;
- O site é muito novo e o Google não teve tempo o suficiente para indexá-lo.
Cada caso é diferente. Às vezes pode estar acontecendo mais que um problema ao mesmo tempo. Vamos ver cada um dos fatores.
Como garantir que seu site seja indexado pelo Google
De certo modo, nós estamos completamente dependentes do Google quando o assunto é ser achado na internet. Se não for indexado por ele, seu site não terá tráfego orgânico. Entretanto, a boa notícia é que existem ações que você pode tomar para que o Google dê espaço nos SERPs (página de resultados do mecanismo de busca). Vamos ver 15 dicas:
Invista em um bom provedor
Uma das barreiras em potencial para ser indexado no Google é o provedor. Velocidade baixa do servidor e falhas nas conexões podem fazer com que as aranhas abandonem a busca. Mesmo que não muito comum, é uma possibilidade. Como na hospedagem você ganha o valor que você paga, investir em uma hospedagem de qualidade com bom funcionamento e excelente disponibilidade, sempre vale a pena.
Encha seu site com conteúdo de boa qualidade
Uma das coisas que precisamos ter em mente (sobre ser indexado pelo Google) é que não queremos que ele simplesmente esteja ciente do nosso site, mas esteja ciente de uma forma positiva. Se seu site está vazio ou – pior – cheio de conteúdo ruim, ele pode até ser indexado mas não chegará perto da primeira fileira nos SERPs. Isto é tão ruim quanto não ser indexado. Não é segredo que o Google se importa sobre a relevância e qualidade do seu conteúdo. Por esta razão, quando você configura seu site, foque em conteúdos de alta qualidade, úteis e originais. Naturalmente isto significa que precisa ficar longe de conteúdos duplicados.
Desabilite “Discourage Search Engines” no WordPress
Durante o período de desenvolvimento, normalmente a última coisa que nós queremos é ser indexado por mecanismos de busca. Na verdade, nós queremos deixar Google e companhia o mais longe possível do nosso site. Pois se não, podemos ser pegos com conteúdo incompleto (e isso significa: baixa qualidade) e o Google formará uma opinião ruim sobre o site com base nisso. E isto, claramente, não é bom.
O problema, porém, é quando esquecemos de reverter as medidas tomadas para manter o buscador longe depois de nosso site já ter concluído a fase de desenvolvimento. Um dos erros mais comuns é deixar a opção “desencorajar motores de busca de indexar este site” (discourage search engines from indexing this site) ativa no backend do WordPress. Esta é, basicamente, a sentença da morte para busca orgânica em seu site. Então, para garantir a indexação (ou se você estiver tendo problemas para aparecer no Google) definitivamente vale a pena conferir as configurações. Não esqueça de salvar depois de ter feito qualquer alteração.
Configure robots.txt corretamente
Falar para o WordPress desencorajar mecanismos de busca tem muito efeito. Um desses efeitos é que adiciona noindex e nofollow tags no cabeçalho de seu site e também, previne qualquer um faça um pinging¹ em seu site. Mais importante, essa configuração faz com que o arquivo interno robots.txt do WordPress proíba todas as aranhas de indexarem seu site.
Caso você não saiba, robots.txt é uma ferramenta importante do servidor que diretamente se comunica com os buscadores. Você pode usá-lo para dizer quais partes de seu site você quer que sejam indexados e quais você não quer. Por causa disso, você ou seu desenvolvedor irão configurar um arquivo robot.txt para controlar a indexação durante o desenvolvimento. Mesmo que isso não seja exatamente problemático, se tornará um problema quando você esquecer de mudar de volta.
Compartilhe seu site
Para indexar seu site, buscadores precisam achar ele primeiro, correto? Então, como eles fazem isso? De forma bem resumida: por links. Quando uma página já indexada aponta para o seu site, é muito mais provável que o Google te encontre também. Qual é a forma mais fácil de criar um link para o seu site? A resposta: rede social. Compartilhando o seu site no Facebook e Twitter, você pode alertar mecanismos de busca (e também, pessoas) que existe um novo site na área. Mesmo que seja verdadeiro o fato que muitos desses links vão ser marcados como nofollow, buscadores (como o Google) que seguem redes sociais ainda serão alertados sobre sua presença.
Cadastre-se no Google Analytics
Independente da indexação, para reunir mais informações da performance de seu site, você vai querer instalar alguma solução analítica. Com isto, a mais comum é o Google Analytics. Ele é gratuito, compreensível e oferece toda a informação necessária para trabalhar com Google. Porém, existe uma outra boa razão: quando você configura o Google Analytics você (sim, você) pode dizer ao Google que tem um site que eles devem prestar atenção. Isto aumentará a probabilidade deles checarem.
Crie um sitemap
Um sitemap é um documento XML que contém uma lista de todo o conteúdo do seu site. Ele comunica aos buscadores o que você tem para oferecer e quando eles devem checar para ver se há alguma novidade. Sitemaps são ótimas ferramentas para guiar as aranhas de busca. Uma boa ideia é criar uma para seu site. Para fazer isso existem várias opções a nossa disposição. A mais popular é Google XML Sitemaps que possui mais de um milhão de usuários.
Envie seu site para o Google
Entretanto, a utilidade de sitemaps não para por aí. Afinal de contas, você não vai ficar sentado e esperar o Google te descobrir, certo? Aqui vai uma sugestão: que tal avisar ao gigante buscador exatamente onde o seu sitemap está localizado para que ele possa começar a indexar o conteúdo rapidamente?
Você pode fazer isso com o Google Webmaster Tools. Se você não possui uma conta ainda, use o link anexado para criar uma. Esta ferramenta te dá bastante informação sobre o que o Google sabe e pensa sobre seu site e como você pode melhorar isso. Depois de conectar seu site com Webmaster tools, vá para sua conta e acesse Crawl >Sitemaps. Lá clique em Adicionar/Testar Sitemap na parte de cima à direita. Agora só o que você precisa fazer é adicionar o endereço do seu sitemap para o fim do seu domínio. Normalmente é algo do tipo: seudomínio.com/sitemap.xml
Configure seu domínio de preferência
Como estamos falando de ferramentas, porque não usar a oportunidade para configurar seu domínio de preferência? Por que fazer isso? Pois então, o seu site normalmente existe em duas formas de domínio diferente, os principais: http://seudomínio.com/ e http://www.seudomínio.com/. Mesmo que ambos apontem para a mesma localização e ambos funcionem para o Google, tecnicamente, não é o mesmo domínio. Na verdade, a versão www é um subdomínio.
Se você não enviar ambos os sites para o Google e avisar qual deles você prefere, algumas vezes você poderá ser notificado que seu site não está indexado (mesmo que esteja só que não na versão certa). Para evitar este tipo de incômodo, se assegure em adicionar as duas versões na sua conta GWT (Google Web Toolkit). Depois disso, acesso as duas propriedades web e use o botão de configuração na lateral direita para ir ao Site Settings.
Configure ambos os sites para a mesma URL de preferência (sua escolha) e o Google ficará com uma versão para crawling e indexação. Agora tudo que você precisa é redirecionar seu site para as pessoas acessarem da versão não preferencial para a preferencial.
Identifique erros no crawling
Quando a indexação falha pode ser por estar acontecendo algum erro técnico em seu site. Se isso acontecer, o Google Webmaster Tools irá te alertar sobre. Fará isso diretamente no painel do administrador em Crawl > Crawl Errors
A maioria dos erros serão 404, isto significa que links para URL não existem. Não tem problema se há alguns deles (pode acontecer), no entenato, você poderá notar também se há algo maior acontecendo que impede seu site de ser indexado. Essa informação é crucial para tomar medidas preventivas. Você também poderá ver notificações similares no menu do Sitemaps.
Peça manualmente para o Google rastrear seu site
Se você tem problemas na sua página e já tenha tomado as medidas necessárias para corrigir estes problemas, você pode pedir para o Google dar uma olhada nas páginas afetadas mais uma vez. Dessa maneira você vai saber se a solução funcionou ou não. Depois também poderá avisar o Google que as páginas em questão estão sem problemas e eles podem rastrear seu site quando quiserem. Para fazer isso você precisa buscar as URLs problemáticas.
Aqui você pode colocar qualquer página em seu domínio para o Google verificar, e por meio do Fetch and Render, até mesmo mostrar como as aranhas visualizam o conteúdo. Essa ação pode ajudar você a identificar erros ou outras coisas que podem estar dando errado durante o processamento de sua página. Uma vez que você buscou a página, aparecerá uma lista na parte inferior da tela com um botão Submit to index. Se funcionar, você pode usar isto para dizer ao Google indexar a página.
Você pode enviar a própria página ou incluir todos os links diretos. Você tem permissão para adicionar 500 páginas por mês com a primeira opção e 10 com a segunda.
Verifique .htaccess
.htaccess é um arquivo importante em seu servidor, pois informa para navegadores e mecanismos de busca como lidar com seu site. Por exemplo, .htaccess contém informações para editar, o que permite você usar permalinks. Além disso, possui permissão de acesso para diferentes diretórios em seu site. Mesmo que isto seja super útil, também significa que pode ser uma fonte de problemas para seu site ser indexado.
Caso você esteja tendo problemas (que não consegue explicar o porquê a não ser por esta causa), verificar este arquivo pode valer a pena. Muitas das vezes ir até Settings > Permalinks no backend do WordPress e clicar em Save Changes. Dessa forma, o WordPress irá liberar o arquivo .htaccess. Se isto não funcionar, você precisará vasculhar por outras alternativas.
Verifique as meta tags
Meta tags são os elementos dentro do código do site que dão informações adicionais sobre o conteúdo e arquitetura de seu site. Por exemplo, se você faz uma descrição no plugin de SEO do WordPress, vai aparecer dentro de uma meta tag na seção principal de sua página. A tag nomeada robots é muito importante. Seu valor pode ser index/noindex e follow/nofollow. Como você pode deduzir, elas são diretivas que apontam para aranhas de mecanismos de busca.
Na verdade, a opção já mencionada “discourage search engines” no WordPress adiciona a tag noindex, nofollow para o seu site até que seja desativado. Se você tem problemas com indexação ou simplesmente quer garantir que isso não seja um problema, você pode checar o seu site por meio do Firebug ou pela ferramentas de desenvolvimento do navegador. Se meta tags como essa existirem, você vai achar de forma mais fácil. Depois disso, é só uma questão de descobrir o plugin ou programa que é responsável.
Consiga backlinks de qualidade para o seu site
Como já mencionado, aranhas de busca normalmente encontram o seu site por um link direto. Entretanto, links não são os únicos caminhos para o seu site, mas também um meio para o Google julgar sua qualidade. Apesar que algum tempo atrás você poderia ir a qualquer tipo de diretório web e adicionar links até ser rankeado, esse tipo de prática agora vai ferir mais do que ajudar.
Hoje o que importa é a qualidade do link. O Google determina a qualidade do link de acordo com essas características:
- Relevância: O link está vindo de um site relacionado ao assunto ou indústria.
- Credibilidade: Não vindo de uma qualidade baixa ou site com spam.
- Atividade: O link manda tráfego em sua direção.
- Relevância do texto âncora: o texto que funciona como um link é significativo.
- Localização do link: Links dentro de um artigo carregam mais peso do que links na barra lateral ou rodapé.
- Page rank: Se o Google já confia na página linkada, eles também confiarão nos sites que os links estão.
- Singuralidade: Sites diferentes que se referem a você uma vez tem mais valor que um site que linka você várias e várias vezes seguidas.
- Reciprocidade: Se o link for de via única (isto significa que você não linka de volta para o mesmo site), significa que não há esquema de link acontecendo.
Parece bastante coisa, mas tenha em mente que nem todo backlink precisa ter essas características para te ajudar a ser rankeado. Adquirindo backlinks de alta qualidade é uma arte, e o Backlinko escreveu um excelente guia em como fazer isso.
Isto também é uma estratégia de longo prazo e não uma resposta rápida, mas vale a pena. Não é somente para te ajudar a ser encontrado, mas também para tornar seu site mais valoroso aos olhos do Google. E isto é uma coisa boa porque quanto mais o Google pensa que você tem valor, mais páginas ele indexará do seu site.
Conclusão
Como já dizia o ditado “paciência é uma virtude”. Mesmo que você faça tudo da maneira certa, é improvável que o Google te indexe logo depois de seu site ter sido lançado. Um dos primeiros passos para o sucesso com buscadores e tráfego orgânico é ser indexado pelo Google. Se ele não te localizar, qualquer estratégia usando SEO não valerá a pena. Felizmente, tem algumas coisas que você pode fazer para facilitar essa indexação. Desde corrigir o servidor e configurações do WordPress até otimização de conteúdo e backlinking – as chances de melhorar são numerosas.
Seguindo as dicas acima você pode ter uma base sólida para aparecer no SERPs. Você também pode usar muitas dessas dicas para solucionar problemas que você pode estar experimentando. Boa sorte!
Texto traduzido e modificado: 15 tips to get your WordPress website indexed by google