Última atualização em 09/07/2023
Se você não indexar site no Google, certamente você está praticamente invisível. Você não aparecerá para nenhuma consulta de pesquisa e não receberá nenhum tráfego orgânico.
Considerando que você está aqui, suponho que isso não seja novidade para você. Portanto, vamos direto ao assunto.
Este artigo ensina como corrigir qualquer um destes três problemas:
- Todo o seu site não está indexado.
- Algumas de suas páginas estão indexadas, mas outras não.
- Suas páginas da web recém-publicadas não estão sendo indexadas com rapidez suficiente.
Mas, primeiro, vamos ter certeza de que estamos na mesma página e entendemos completamente esse malarkey de indexação.
O que é rastreamento e indexação?
O Google descobre novas páginas da web rastreando a web e, em seguida, adiciona essas páginas ao seu índice . Eles fazem isso usando um web spider chamado Googlebot .
Confuso? Vamos definir alguns termos-chave.
- Rastreamento : o processo de seguir hiperlinks na web para descobrir novos conteúdos.
- Indexação : o processo de armazenar todas as páginas da web em um vasto banco de dados.
- Web spider : Um software desenvolvido para realizar o processo de rastreamento em grande escala.
- Googlebot : o aranha da web do Google .
Quando você pesquisa algo no Google, você está pedindo ao Google para retornar todas as páginas relevantes de seu índice. Como muitas vezes há milhões de páginas que se encaixam no perfil, o algoritmo de classificação do Google faz o possível para classificar as páginas para que você veja os melhores e mais relevantes resultados primeiro.
O ponto crítico que estou fazendo aqui é que a indexação e a classificação são duas coisas diferentes .
A indexação está aparecendo para a corrida; a classificação está ganhando.
Você não pode vencer sem aparecer para a corrida em primeiro lugar.
Como verificar se você está indexado no Google
Vá para o Google e pesquise por site:yourwebsite.com
Este número mostra aproximadamente quantas de suas páginas o Google indexou.
Se você deseja verificar o status do índice de um URL específico, use o mesmo site:yourwebsite.com/web-page-slug operador.
Nenhum resultado aparecerá se a página não estiver indexada.
Agora, é importante notar que, se você for um usuário do Google Search Console, pode usar o relatório de cobertura para obter uma visão mais precisa do status do índice de seu site. Vá para:
Google Search Console> Índice> Cobertura
Observe o número de páginas válidas (com e sem avisos).
Se esses dois números totalizarem qualquer coisa menos zero, então o Google tem pelo menos algumas das páginas do seu site indexadas. Do contrário, você tem um problema sério porque nenhuma de suas páginas da web está indexada.
Você também pode usar o Search Console para verificar se uma página específica está indexada. Para fazer isso, cole o URL na ferramenta de inspeção de URL.
Se essa página estiver indexada, dirá “URL está no Google”.
Se a página não estiver indexada, você verá as palavras “URL não está no Google”.
Como indexar site no Google
Descobriu que seu site ou página da web não está indexado no Google? Experimente isto:
- Vá para o Google Search Console
- Navegue até a ferramenta de inspeção de URL
- Cole o URL que deseja que o Google indexe na barra de pesquisa.
- Espere que o Google verifique o URL
- Clique no botão “Solicitar indexação”
Esse processo é uma boa prática ao publicar uma nova postagem ou página. Você está efetivamente dizendo ao Google que adicionou algo novo ao seu site e que eles deveriam dar uma olhada nisso.
No entanto, a solicitação de indexação provavelmente não resolverá os problemas subjacentes que impedem o Google de indexar páginas antigas. Nesse caso, siga a lista de verificação abaixo para diagnosticar e corrigir o problema.
1) Remova os bloqueios de rastreamento em seu arquivo robots.txt
O Google não está indexando todo o seu site? Pode ser devido a um bloqueio de rastreamento em algo chamado arquivo robots.txt .
Para verificar esse problema, acesse seudominio.com/robots.txt .
Procure um destes dois snippets de código:
| 1 | User-agent: Googlebot |
| 2 | Disallow: / |
| 1 | User-agent: * |
| 2 | Disallow: / |
Ambos informam ao Googlebot que eles não têm permissão para rastrear nenhuma página do seu site. Para corrigir o problema, remova-os. É simples.
Um bloqueio de rastreamento em robots.txt também pode ser o culpado se o Google não estiver indexando uma única página da web. Para verificar se esse é o caso, cole o URL na ferramenta de inspeção de URL no Google Search Console. Clique no bloco Cobertura para revelar mais detalhes e, em seguida, procure a opção “Rastreamento permitido”? Não: bloqueado por robots.txt ”erro.
Isso indica que a página está bloqueada em robots.txt.
Se for esse o caso, verifique novamente seu arquivo robots.txt para ver se há regras de “proibição” relacionadas à página ou subseção relacionada.
Remova quando necessário.
2) Remover tags noindex desonestos
O Google não indexará as páginas se você disser para não fazê-lo. Isso é útil para manter algumas páginas da web privadas. Existem duas maneiras de fazer isso:
Método 1: metatag
As páginas com qualquer uma dessas metatags em sua <head>seção não serão indexadas pelo Google:
| 1 | <meta name=“robots” content=“noindex”> |
| 1 | <meta name=“googlebot” content=“noindex”> |
Esta é uma metatag de robôs e informa aos mecanismos de pesquisa se eles podem ou não indexar a página.
NOTA.A parte principal é o valor “noindex”. Se você vir isso, a página está definida como noindex.
Para encontrar todas as páginas com uma metatag noindex em seu site, execute um rastreamento com a Auditoria de Site. Vá para o relatório Indexabilidade . Procure os avisos de “página Noindex”.
Clique para ver todas as páginas afetadas. Remova a metatag noindex de todas as páginas às quais ela não pertence.
Método 2: X ‑ Robots-Tag
Os rastreadores também respeitam o cabeçalho de resposta HTTP X ‑ Robots-Tag. Você pode implementar isso usando uma linguagem de script do lado do servidor, como PHP, ou em seu arquivo .htaccess, ou alterando a configuração do servidor.
A ferramenta de inspeção de URL no Search Console informa se o Google está impedido de rastrear uma página por causa desse cabeçalho. Basta inserir seu URL e, em seguida, procurar “Indexação permitida? Não: ‘noindex’ detectado no cabeçalho http ‘X ‑ Robots-Tag’ ”
Se você quiser verificar esse problema em seu site, execute um rastreamento na ferramenta de auditoria do site, em seguida, use o filtro “Robots information in HTTP header” no Page Explorer:
Diga ao seu desenvolvedor para excluir as páginas que você deseja indexar do retorno deste cabeçalho.
3) Inclua a página em seu mapa do site
Um mapa do site informa ao Google quais páginas do seu site são importantes e quais não são. Também pode dar alguma orientação sobre a frequência com que eles devem ser rastreados novamente.
O Google deve ser capaz de localizar páginas em seu site, independentemente de estarem no mapa do site, mas ainda é uma boa prática incluí-las. Afinal, não adianta dificultar a vida do Google.
Para verificar se uma página está no seu sitemap, use a ferramenta de inspeção de URL no Search Console. Se você vir o erro “URL não está no Google” e “Mapa do site: N / A”, então ele não está no seu mapa do site ou indexado.
Não está usando o Search Console? Vá para o URL do seu sitemap – geralmente, seudominio.com/sitemap.xml – e pesquise a página.
Ou, se quiser encontrar todas as páginas rastreáveis e indexáveis que não estão no seu sitemap, execute um rastreamento na Auditoria de Site. Vá para o Explorador de páginas e aplique estes filtros:
Essas páginas devem estar em seu sitemap, portanto, adicione-as. Depois de fazer isso, informe ao Google que você atualizou o mapa do site executando o ping neste URL:
http://www.google.com/ping?sitemap=http://yourwebsite.com/sitemap_url.xml
Substitua essa última parte pelo URL do seu sitemap. Você deverá ver algo assim:
Isso deve acelerar a indexação da página pelo Google.
4) Remova as tags canônicas não autorizadas
Uma tag canônica informa ao Google qual é a versão preferida de uma página. É mais ou menos assim:
<link rel=”canonical” href=”/page.html/”>
A maioria das páginas não tem tag canônica ou o que é chamado de tag canônica de autorreferência. Isso informa ao Google que a página em si é a preferida e provavelmente a única versão. Em outras palavras, você deseja que esta página seja indexada.
Mas, se sua página tiver uma tag canônica desonesta, ela pode estar informando ao Google sobre uma versão preferencial desta página que não existe. Nesse caso, sua página não será indexada.
Para verificar se há um canônico, use a ferramenta de inspeção de URL do Google. Você verá um aviso “Página alternativa com tag canônica” se o canônico apontar para outra página.
Se isso não deveria estar lá e você deseja indexar a página, remova a tag canônica.
IMPORTANTE
Tags canônicas nem sempre são ruins. A maioria das páginas com essas tags as terá por um motivo. Se você perceber que sua página tem um conjunto canônico, verifique a página canônica. Se esta for realmente a versão preferida da página e não houver necessidade de indexar a página em questão também, a tag canônica deve permanecer.
Se você deseja uma maneira rápida de encontrar tags canônicas desonestas em todo o seu site, execute um rastreamento na ferramenta de auditoria do site. Vá para o Page Explorer. Use estas configurações:
Isso procura por páginas em seu sitemap com tags canônicas não autorreferenciadas. Como você quase certamente deseja indexar as páginas em seu sitemap, deve investigar mais a fundo se esse filtro retorna algum resultado.
É altamente provável que essas páginas tenham um código canônico desonesto ou não devam estar no seu mapa do site em primeiro lugar.
5) Verifique se a página não é órfã
Páginas órfãs são aquelas sem links internos apontando para elas.
Como o Google descobre novo conteúdo rastreando a web, eles não conseguem descobrir páginas órfãs por meio desse processo. Os visitantes do site também não conseguirão localizá-los.
Para verificar se há páginas órfãs, rastreie seu site com. Em seguida, verifique o relatório de links para erros de “página órfã (sem links internos de entrada)”:
Isso mostra todas as páginas que podem ser indexadas e estão presentes no mapa do site, mas não tem links internos apontando para elas.
IMPORTANTE
Este processo só funciona quando duas coisas são verdadeiras:
- Todas as páginas que você deseja indexar estão em seus sitemaps
- Você marcou a caixa para usar as páginas em seus sitemaps como pontos de partida para o rastreamento ao configurar o projeto na Auditoria de Site.
Não tem certeza de que todas as páginas que deseja indexar estão em seu mapa do site? Experimente isto:
- Baixe uma lista completa de páginas em seu site (por meio de seu CMS)
- Rastreie o seu site (usando uma ferramenta de Auditoria de Site)
- Referência cruzada das duas listas de URLs
Quaisquer URLs não encontrados durante o rastreamento são páginas órfãs.
Você pode corrigir páginas órfãs de duas maneiras:
- Se a página não for importante , exclua-a e remova-a do mapa do site.
- Se a página for importante , incorpore-a na estrutura de links internos do seu site.
6) Corrigir links internos nofollow
Links nofollow são links com uma tag rel = “nofollow”. Eles impedem a transferência do PageRank para o URL de destino. O Google também não rastreia links nofollow.
Aqui está o que o Google diz sobre o assunto:
Essencialmente, o uso do nofollow nos faz retirar os links de destino de nosso gráfico geral da web. No entanto, as páginas de destino ainda podem aparecer em nosso índice se outros sites criarem links para elas sem usar o nofollow ou se os URLs forem enviados ao Google em um Sitemap.
Resumindo, você deve se certificar de que todos os links internos para páginas indexáveis sejam seguidos.
Para fazer isso, use a ferramenta de auditoria para rastrear o seu site. Verifique o relatório de Links para obter páginas indexáveis com erros “A página contém apenas links internos de entrada nofollow”:
Remova a tag nofollow desses links internos, supondo que você deseja que o Google indexe a página. Caso contrário, exclua a página ou noindex-a.
7) Adicione links internos “poderosos”
O Google descobre novos conteúdos rastreando seu site. Se você negligenciar o link interno para a página em questão, eles podem não conseguir encontrá-lo.
Uma solução fácil para esse problema é adicionar alguns links internos à página. Você pode fazer isso em qualquer outra página da web que o Google possa rastrear e indexar. No entanto, se você deseja que o Google indexe a página o mais rápido possível, faz sentido fazer isso a partir de uma de suas páginas mais “poderosas”.
Porque? Porque o Google provavelmente rastreará novamente essas páginas mais rápido do que as páginas menos importantes.
Para fazer isso, vá para o Site Explorer, insira seu domínio e visite o relatório Melhor por links.
Isso mostra todas as páginas do seu site classificadas por URL Rating (UR). Em outras palavras, ele mostra as páginas mais confiáveis primeiro.
Percorra esta lista e procure as páginas relevantes para adicionar links internos à página em questão.
O Google verá e seguirá esse link na próxima vez que rastrear novamente a página.
DICA PROFISSIONAL
Cole a página da qual você adicionou o link interno na ferramenta de inspeção de URL do Google. Clique no botão “Solicitar indexação” para informar ao Google que algo mudou na página e que eles devem rastreá-lo novamente o mais rápido possível. Isso pode agilizar o processo de descoberta do link interno e, consequentemente, da página que deseja indexar.
8) Certifique-se de que a página seja valiosa e única
É improvável que o Google indexe páginas de baixa qualidade porque elas não têm valor para seus usuários. Aqui está o que John Mueller, do Google, disse sobre a indexação em 2018:
Ele sugere que se você deseja que o Google indexe seu site ou página da web, ele precisa ser “incrível e inspirador”.
Se você descartou problemas técnicos por falta de indexação, a falta de valor pode ser a culpada. Por esse motivo, vale a pena revisar a página com novos olhos e se perguntar: Esta página é genuinamente valiosa? Um usuário encontraria valor nesta página se clicasse nos resultados da pesquisa?
Se a resposta for não a qualquer uma dessas perguntas, você precisa melhorar seu conteúdo.
Você pode encontrar mais páginas com potencial de baixa qualidade que não são indexadas usando a ferramenta de auditoria e o URL Profiler.
Isso retornará páginas “finas” que são indexáveis e atualmente não recebem tráfego orgânico. Em outras palavras, há uma chance razoável de que eles não sejam indexados.
Exporte o relatório, cole todos os URLs no URL Profiler e execute uma verificação de indexação do Google.
IMPORTANTE
É recomendado usar proxies se você estiver fazendo isso para muitas páginas (ou seja, mais de 100). Caso contrário, você corre o risco de seu IP ser banido pelo Google. Se você não puder fazer isso, outra alternativa é pesquisar no Google por um “verificador de indexação em massa do Google gratuito”. Existem algumas dessas ferramentas, mas a maioria delas é limitada a <25 páginas por vez.
Verifique se há problemas de qualidade nas páginas não indexadas. Melhore quando necessário e, em seguida, solicite a reindexação no Google Search Console.
Você também deve tentar corrigir problemas com conteúdo duplicado. É improvável que o Google indexe páginas duplicadas ou quase duplicadas. Use o relatório de conteúdo duplicado em Auditoria de site para verificar esses problemas.
9) Remova as páginas de baixa qualidade (para otimizar o “rastreamento do orçamento”)
Ter muitas páginas de baixa qualidade em seu site serve apenas para desperdiçar o orçamento de rastreamento.
Aqui está o que o Google diz sobre o assunto:
Desperdiçar recursos do servidor em [páginas de baixo valor agregado] drenará a atividade de rastreamento de páginas que realmente têm valor, o que pode causar um atraso significativo na descoberta de conteúdo excelente em um site.
Pense nisso como um professor corrigindo redações, uma das quais é sua. Se eles têm dez redações para avaliar, eles chegarão à sua muito rapidamente. Se eles têm cem, vai demorar um pouco mais. Se eles têm milhares, sua carga de trabalho é muito alta e talvez nunca cheguem a avaliar sua redação.
O Google afirma que “rastreamento de orçamento […] não é algo com que a maioria dos editores precisa se preocupar” e que “se um site tiver menos do que alguns milhares de URLs, na maioria das vezes ele será rastreado com eficiência”.
Ainda assim, remover páginas de baixa qualidade do seu site nunca é uma coisa ruim. Isso só pode ter um efeito positivo no orçamento de rastreamento.
10) Crie backlinks de alta qualidade
Backlinks informam ao Google que uma página da web é importante. Afinal, se alguém está se conectando a ele, ele deve ter algum valor. Estas são as páginas que o Google deseja indexar.
Para total transparência, o Google não indexa apenas páginas da web com backlinks. Há uma abundância (bilhões) de páginas indexadas sem backlinks. No entanto, como o Google vê as páginas com links de alta qualidade como mais importantes, eles provavelmente rastrearão – e rastrearão novamente – essas páginas mais rapidamente do que aquelas sem. Isso leva a uma indexação mais rápida.
Indexação ≠ classificação
Ter seu site ou página da web indexado no Google não equivale a classificações ou tráfego.
São duas coisas diferentes.
Indexar significa que o Google está ciente de seu site. Isso não significa que eles irão classificá-lo para qualquer consulta relevante e válida.
É aí que entra o SEO – a arte de otimizar suas páginas da web para classificar para consultas específicas.
Resumindo, o SEO envolve:
- Encontrar o que seus clientes estão procurando;
- Criação de conteúdo em torno desses tópicos;
- Otimizando essas páginas para suas palavras-chave alvo;
- Construindo backlinks;
- Republicar conteúdo regularmente para mantê-lo “perene”.
Leia mais: Comprar backlinks de qualidade
Pensamentos finais
Existem apenas dois motivos possíveis pelos quais o Google não está indexando seu site ou página da web:
- Problemas técnicos estão impedindo-os de fazer isso
- Eles veem seu site ou página como de baixa qualidade e sem valor para os usuários.
É perfeitamente possível que ambos os problemas existam. No entanto, eu diria que os problemas técnicos são muito mais comuns. Problemas técnicos também podem levar à geração automática de conteúdo indexável de baixa qualidade (por exemplo, problemas com navegação facetada). Isso não é bom.
Ainda assim, examinar a lista de verificação acima deve resolver o problema de indexação nove em cada dez.
Basta lembrar que indexação ≠ classificação. O SEO ainda é vital se você deseja se classificar para qualquer consulta de pesquisa que valha a pena e atrair um fluxo constante de tráfego orgânico.