Pourquoi les pages ne sont pas indexées : une vérification de nos 3310 adresses

Le nombre qui a commencé avec

Le rapport d'indexation de page dans Google Search Console met deux figures côte à côte. Nous lisons: 738 pages indexées, 2572 non indexées. Google connaît environ 3310 adresses sur ce site. Vingt-deux pour cent d'entre eux ont fait la recherche.

Un écart à lui seul n'est pas un verdict. Un jeune domaine est presque toujours indexé partiellement — un moteur de recherche n'a aucune raison de faire confiance à un site qu'il a rencontré il y a six mois comme il fait confiance à un avec une décennie d'histoire. Certaines pages sont fermées à l'indexation délibérée, certaines redirections, certaines sont administratives.

Mais un écart de quatre fois et demie n'est plus du bruit. Quand moins d'un quart de trois mille adresses atteignent la recherche, vous ouvrez la ventilation par raison et le lisez ligne par ligne au lieu de deviner à partir de conseils généraux.

Ce qui suit est cette rupture, avec nos propres chiffres, l'erreur que nous avons faite le long du chemin, et la correction qui a fonctionné. Rien de théorique : tout cela s'est produit sur ce site en une semaine.

Dix raisons, et elles ne sont pas égales

Le rapport trie les pages non indexées en catégories. Nous en avions dix, et la première chose à comprendre est qu'ils diffèrent énormément en poids. La moitié peut être ignorée en toute sécurité.

Page avec redirection — 27 adresses. Comportement normal du site : un ancien point d'adresse à un nouveau, le rampeur le remarque et se déplace. Rien à réparer.

Page alternative avec étiquette canonique appropriée — 16 adresses. Aussi normal: plusieurs versions d'une page existent, vous avez nommé la première, et le rampeur vous a entendu.

Exclus par noindex tag — 132 adresses. Cela peut être normal si vous avez fermé ces pages exprès. Les nôtres sont fermés par le filtre éditorial de la revue : les pièces qui ne sont pas en profondeur ou qui ne sont pas à la recherche. Ce ne serait un problème que si quelque chose atterrissait là que nous n'avions jamais voulu fermer.

Bloqué par robots.txt — 5 adresses. Sections administratives. C'est prévu.

Les trois autres catégories sont l'endroit où commence la vraie conversation.

Ce qui rampait mais non indexé signifie en fait

La phrase signifie exactement ceci: le rampeur est arrivé, a lu la page en entier, et a décidé contre elle. Il n'a pas pu, il n'a pas trouvé — décidé.

Nous avions 383 pages ici, et trente-deux autres parurent en un jour. Nous avons trouvé la cause rapidement, parce que nous avions travaillé sur des pages de produits peu de temps auparavant.

La description du produit russe a été assemblée à la volée à partir du nom anglais et d'une catégorie traduite. Le résultat se lisait comme un design considéré dans telle ou telle catégorie, silhouette tranquille, matériaux de qualité. La même phrase pour les seize produits, avec deux mots qui changent.

Pour un moteur de recherche qui est seize pages presque identiques. Il lit le premier, le second, le troisième, et cesse de voir le point de tenir le reste. Exactement la même chose se produit avec les descriptions copiées d'un fournisseur: si un texte se trouve sur une centaine de sites, aucun d'eux ne gagne un avantage.

Il y a un remède: un texte unique sur chaque page. Non réécrit avec des synonymes, mais écrit au sujet de l'objet spécifique: ce qu'il est, ce qu'il est fait, ce qu'il va avec, comment il diffère de la pièce à côté de lui dans le catalogue.

Pourquoi nous fermons certaines pages pour nous chercher

Un court détour, parce que 132 adresses fermées ressemblent à une surveillance et sont en fait une règle que nous avons écrite délibérément.

La revue utilise un filtre éditorial : environ vingt-cinq conditions qu'une pièce doit satisfaire avant d'entrer en recherche. Une longueur minimale, fixée séparément par langue. Au moins deux sources sur deux domaines indépendants. Pas de rubriques répétées dans le texte. Densité de mots clés primaires pas plus qu'un peu plus de 2 %.

Une pièce qui échoue au filtre est toujours publiée et lisible, mais porte une balise noindex. Une note mince reste hors de la recherche et ne traîne pas la réputation de la section avec elle.

La logique est simple. Un moteur de recherche juge non seulement la page individuelle mais la section dans son ensemble. Une centaine de pièces fortes et trois cents pièces faibles est un site où les trois quarts de la revue ne méritent pas d'attention, et de nouveaux textes y indexent plus lentement. Une centaine de pièces fortes et trois cents fermées est un site où la recherche ne contient que ce que nous sommes prêts à défendre.

La différence est que la première version est quelque chose que le moteur de recherche fonctionne pour lui-même et généralise à toute la section. La seconde est quelque chose qu'on lui dit à l'avance.

Ce qui a été découvert mais non indexé signifie en fait: Seules 738 pages de 3310 ont été indexées. Nous avons…

Cette catégorie est plus lourde que la précédente, même si elle semble plus douce. Ça veut dire que le rampeur n'est jamais venu. L'adresse est connue — vous l'avez soumise dans votre plan du site — mais aucun rampement ne lui a été attribué.

Nous avions 1331 adresses ici. Un jour plus tôt, il y avait 1135. La catégorie a augmenté d'environ deux cents par jour et a été la plus importante dans le rapport.

La distinction est importante. Dans le premier cas, le moteur de recherche a évalué le contenu et a refusé. Dans la seconde, il n'a pas passé du tout de temps sur la page — donc la question n'est pas le texte, mais pourquoi le site n'a pas gagné la rampe.

C'est ce que signifie le budget rampant. Le rampeur arrive avec une limite de temps et de demandes. Il n'est pas obligé de couvrir tout ce que vous soumettez, et il décide pour lui-même où dépenser. Sur un domaine jeune, l'allocation est petite et doit être dépensée avec soin.

Trois endroits où se trouve habituellement la cause

Quand le rampeur ne vient pas, la réponse est presque toujours à l'un des trois endroits.

Premièrement, la taille du plan du site par rapport à l'autorité du domaine. Deux mille adresses pour un site avec une centaine de liens entrants est une revendication sans rien derrière elle. Le moteur de recherche voit le volume, pèse la confiance, et rampe une fraction.

Deuxièmement, les liens internes. Une page à laquelle aucune autre page du site n'existe à peine pour un rampeur. Un plan du site communique une adresse; il ne communique pas d'importance. Les liens communiquent de l'importance.

Troisièmement, des signaux de qualité sur toute une section. Si le rampeur a couvert une centaine de pages d'une section et n'en a pris aucune dans l'index, il économise aussi sur le reste. La section acquiert une réputation, et cette réputation s'étend à de nouvelles adresses à l'intérieur.

Nous avons vérifié les trois et trouvé la cause dans la seconde et la première à la fois.

Quarante-trois pour cent de la carte du site est allé à une section

Nous avons ouvert le plan du site et compté ce qui était dedans. Il y avait 2074 adresses. Parmi ceux-ci, 900 appartenaient à un catalogue, une section de produits comprenant trois cent un articles dans trois langues.

Quarante-trois pour cent de tout ce que nous avons soumis à la recherche sont allés à une seule section. Et cette section était à peine indexée.

Puis nous avons compté les liens internes. La page de la section est liée à vingt-cinq des trois cent un articles. Les deux cent soixante-seize restants n'étaient accessibles que par onze pages de pagination. Ces pages de pagination n'étaient pas du tout sur le plan du site.

La photo s'est réunie. Nous soumettons neuf cents adresses à la recherche tout en disant au rampeur, à travers la structure du site, que vingt-cinq d'entre eux comptent. Il est écrit que littéralement : si le propriétaire ne les considère pas comme dignes de liaison, ils ne sont probablement pas importants.

Pourquoi cela ralentit tout le site, pas seulement une section

Voici le point le plus souvent manqué. Le budget brut est partagé dans le domaine. Il n'est pas réparti uniformément entre les sections et il n'est pas réservé à ce qui compte.

Ce qui signifie qu'une centaine de pages de service avec des prix concurrencent pour l'attention du rampeur avec mille adresses qui n'allaient jamais se classer. Et ils perdent, parce qu'il y a simplement plus de ce dernier.

Ce n'est pas une pénalité. Il s'agit d'une allocation ordinaire d'une ressource limitée. Mais il y a exactement deux leviers pour le gérer : ce que vous soumettez dans le plan du site et ce que vous liez à l'intérieur du site.

Nous avons utilisé le premier, car il fonctionne immédiatement, tandis que le second nécessite de reconstruire la section.

L'erreur que nous avons faite en chemin

Le conseil standard pour un grand sitemap est de le diviser en un index : un fichier principal pointant sur plusieurs thèmes. Il facilite l'allocation de rampe pour le moteur de recherche et la couverture par section visible pour vous.

On a fait exactement ça. Et a cassé le plan du site entièrement.

Le site fonctionne sur Next.js avec des itinéraires localisés tels que /ru et /es. Au moment où le sitemap passe en mode index, le fichier principal cesse d'être desservi par son propre gestionnaire et tombe dans la voie générale, qui lit son nom comme un code de langue. Le résultat est un 404 sur le fichier robots.txt point.

Nous l'avons attrapé avant la libération, sur une construction locale. Il est retourné, a confirmé que le plan du site a retourné 200 avec son adresse précédente. Rien de cassé n'a atteint la production.

La leçon n'est pas sur Next.js: tout changement de plan du site doit être vérifié avec une requête au fichier lui-même, pas en lisant le code. Cela coûte trente secondes, et le prix de l'erreur est la perte de la carte du site entièrement jusqu'à ce que quelqu'un remarque.

Ce que nous avons changé à la fin

Nous avons retiré neuf cents pages de produits du plan du site et y avons conservé la page de section. Le plan du site a diminué de 2074 adresses à 1174.

Les pages elles-mêmes sont restées exactement où elles étaient. Ils ouvrent, reviennent 200, restent accessibles par les personnes et par les liens internes, et participent à la navigation. Seule la soumission à la recherche a cessé — la demande qui dit s'il vous plaît ramper ceci.

La différence entre le retrait d'un sitemap et la fermeture à l'indexation est fondamentale, et elle est constamment confuse. Une balise noindex indique le moteur de recherche : ne pas afficher cette page dans les résultats. Le retrait de la carte du site dit autre chose: Je ne vous demande plus de passer un crawl sur elle en ce moment.

La seconde est réversible en une seule ligne et ne laisse aucune trace. Lorsque la section a des liens internes appropriés, ou que le domaine a plus d'autorité, les pages de produit retournent à la carte du site.

À quoi s'attendre après, et à quoi ne pas

Il n'y aura pas d'effet immédiat. Un moteur de recherche relise un plan du site sur une ou deux semaines, et la catégorie découverte se rétrécit progressivement plutôt que de se réinitialiser.

Quelque chose d'autre est plus important, et il mérite d'être dit clairement : couper un plan du site ne crée pas d'autorité. Il redistribue l'attention du rampeur sans l'augmenter. Si le domaine a peu de liens entrants, quinze cents adresses seront aussi indexées lentement — simplement lentement et dans un but plutôt que lentement et pour rien.

Alors traitez ça comme une hygiène, pas comme une stratégie. Ça efface le bruit pour que le reste fonctionne honnêtement. La croissance vient d'autres choses : mentions sur des sites extérieurs, texte unique sur des pages, vraies requêtes qui vous trouvent réellement.

Ce que nous faisons ensuite

Trimming le plan du site est la première de trois étapes, et les deux autres prennent plus de temps.

La deuxième est de reconstruire les liens internes dans ce catalogue. Vingt-cinq liens vers trois cent et un éléments doivent devenir une structure où tout produit est à deux ou trois clics de la page d'accueil : regroupements curés, liens croisés entre les éléments voisins, pages de pagination présentes dans le plan du site. Il ne s'agit pas de texte de référencement au bas d'une page; il s'agit de navigation que les gens utilisent réellement.

Le troisième est de retourner les pages de produit sur le plan du site en tranches. Pas tous neuf cents à la fois, mais une centaine à la fois, en commençant par ceux qui ont déjà des liens pointant vers eux. De cette façon, l'indexation de chaque tranche est observable, et si on arrête d'être pris, vous savez où s'arrêter.

L'ordre est délibéré. Retourner les adresses sur le plan du site sans fixer les liens répète la même histoire un mois plus tard.

Un mot séparé environ 404s

Le rapport montre 673 adresses de retour non trouvées, avec une validation marquée comme échouée. Le nombre semble alarmant à côté de 738 pages indexées.

Mais c'est un héritage d'une plate-forme de migration. Le moteur de recherche connaissait des centaines d'anciennes adresses depuis des années, et après le changement de moteur, ils ont cessé d'exister.

Un 404 est correct ici. Plus que cela: pour les pages supprimées définitivement sans remplacement, 410 est la meilleure réponse — un signal direct d'aller pour de bon qui efface ces adresses de la file d'attente plus rapidement.

Que ne pas faire : rediriger les anciennes adresses en masse vers la page d'accueil. Les moteurs de recherche reconnaissent qu'il s'agit d'une erreur douce et refusent d'indexer de toute façon, et vous perdez la capacité de voir quelles pages les gens cherchent encore.

Comment vérifier la même chose sur votre propre site

Ouvrez le rapport d'indexation de page et notez chaque raison avec son compte d'adresse. Ajoutez-les et comparez le total avec le nombre de lignes dans votre plan du site — l'écart seul vous indique si le moteur de recherche connaît les pages que vous n'avez jamais soumises.

Trouvez la catégorie en croissance rapide. Celui-ci, plutôt que le plus grand en termes absolus, montre où se dirige le site.

Comptez de quoi votre plan du site est fait, section par section. Si une section prend plus d'un tiers et n'est pas indexée, vous avez trouvé votre goulot d'étranglement.

Regardez combien de liens internes pointent dans cette section. Un double écart entre les adresses dans le plan du site et les liens pointant vers elles est déjà un signal.

Et vérifiez une douzaine d'adresses du plan du site pour leurs robots méta tag. Soumettre à la recherche ce que vous avez fermé à l'indexation est une erreur courante et coûteuse: il brûle rampe et endommage la confiance dans le plan du site dans son ensemble.

Sur la fréquence à vérifier

Une dernière chose, et ça vous fera gagner du temps. Rechercher les données Console retarde de deux à trois jours.

Nous avons exporté le rapport pendant trois jours. Les deuxième et troisième exportations correspondaient à l'unité sur les dix rangées — pas approximativement, mais littéralement les mêmes chiffres.

Lire le rapport quotidiennement est inutile : vous voyez le même instantané et tirez des conclusions sur une tendance que les données ne contiennent pas. Une fois par semaine est assez fréquente pour remarquer les mouvements sans prendre le décalage d'exportation pour le résultat d'une correction.