Réponse en bref
Les directives d'indexation sont générées par le code build, ce qui signifie qu'elles reculent comme le code build. Une mise en scène Disallow ou un noindex laissé dans une configuration partagée navires sans erreur et surfaces comme une courbe de trafic six…
Trois fichiers décident si une page existe
Avant même que le classement ne soit une question, chaque page doit passer trois portes qui n'ont rien à voir avec la façon dont elle est écrite. Le fichier robots.txt indique si un rampeur peut demander l'URL du tout. Une balise de méta robots, ou un en-tête X-Robots-Tag, indique si la réponse récupérée peut être conservée dans l'index. Une carte de site indique quelles URLs le site lui-même considère canonique et vaut la peine de découvrir rapidement. Une page peut être excellente et échouer tous les trois.
Les équipes de partie sautent là où ces trois choses vivent physiquement. Ils ne sont pas des paramètres dans un tableau de bord marketing. Sur toute pile moderne, ils sont générés au moment de la construction par le même code qui rend la page : une route exporte son objet de métadonnées, une carte du site sort d'une fonction qui interroge la base de données, les robots. txt est émis différemment par environnement, les URLs canoniques sont assemblées à partir d'une constante base-URL. Tout produit peut être édité, refacturé ou cassé par un développeur qui n'a jamais entendu le budget de la phrase ramper.
Ce qui signifie que les règles d'indexation obéissent aux règles du code. Ils ont des versions, des branches et des conflits de fusion. Ils se comportent différemment en fonction de la variable d'environnement qu'on a définie. Ils peuvent être modifiés par une mise à niveau de dépendance qui modifie un défaut, ou par une fonction d'aide étant déplacée dans une mise en page partagée. Et, comme n'importe quel code sans tests, ils dérivent régulièrement vers n'importe quel état le dernier commit précipité les a laissés dedans.
Le catalogue qualifie cette portée exacte de service plutôt que de conseil. Plan du site, robots.txt et protection d'indexation en CI se situe dans la catégorie Indexing à la difficulté débutante, 2–5 heures, 80 $ – 300 $ ou 5 000 – 20 000 $. La cote de difficulté est honnête et légèrement inconfortable : rien de tout cela n'est difficile. Ce n'est tout simplement jamais le travail de personne en particulier jusqu'à ce que le trafic soit déjà parti.
Comment une section disparaît sans que personne ne touche SEO
Le premier mécanisme est la protection contre les fuites. Une équipe bloque l'environnement de mise en scène avec une couverture Disallow de sorte qu'elle ne peut pas concurrencer la production pour les mêmes requêtes. Que robots.txt est généré à partir d'un modèle, l'environnement est lu à partir d'une variable, et un jour un déploiement fonctionne avec la mauvaise variable ou avec la variable manquante entièrement et retombant à la valeur par défaut sûre. La production sert maintenant de bloc à l'échelle du site. Pas d'erreur, pas de construction ratée, un fichier parfaitement valide.
Le second est un n°index de niveau modèle qui échappe à sa cage. Un développeur ajoute noindex à un type de page pendant le développement — un nouveau filtre facetté, une archive paginée, une étape de caisse inachevée. Des mois plus tard, l'état se transforme en un élément de mise en page partagée parce que trois routes ont besoin de la même enveloppe. La directive s'applique maintenant à tous les itinéraires d'accueil des enfants. La section reste en direct, reste liée, reste belle et est discrètement exclue de l'index.
Le troisième est une carte du site qui s'effondre. Sitemap generation interroge une source de données au moment de la construction et filtre les ébauches. Quelqu'un renomme un champ de statut, ou ajoute une nouvelle colonne qui par défaut null, et le filtre qui était destiné à exclure les lignes inédites exclut maintenant presque tout. La construction réussit. La sortie est bien formée XML qui valide contre le schéma. Il contient onze URLs où il contenait quatre mille, et rien dans le pipeline ne considère cela remarquable.
La quatrième est une balise canonique pointant sur le mauvais hôte. L'URL de base utilisée pour construire des canoniques revient à un domaine de mise en scène lorsque sa variable d'environnement est absente. Chaque canonique sur le site pointe maintenant à un hôte le rampeur soit ne peut pas atteindre ou, pire, peut. Aucun de ces quatre cas de bord exotique n'a rêvé de faire un point. Tous les quatre sont des refacteurs ordinaires qui expédient un mardi ordinaire après-midi et passent la révision du code.
L'échec qui arrive six semaines en retard
Un test d'unité défaillant échoue maintenant, devant la personne qui l'a causé, avec un numéro de ligne. Une règle d'indexation cassée échoue sur le planning du rampeur au lieu du vôtre. Le bot doit revenir, re-lire robots.txt, re-fetch les pages touchées, décider que la directive semble stable plutôt que transitoire, et seulement ensuite déposer URLs de l'index. Les classements se dégradent plutôt que disparaissent, et le trafic tombe dans une courbe facile à confondre pour la saisonnalité ou la campagne d'un concurrent.
Au moment où la perte est visible dans un tableau de bord, le fil causal a été coupé. Des dizaines de commits ont atterri depuis. Personne ne se souvient de l'édition d'un modèle de robots, parce que du côté du développeur c'était un changement d'environnement d'une ligne dans une demande de tirage beaucoup plus grande. L'enquête commence dans l'analyse, passe au classement de suivi, et atteint le fichier qui l'a causé seulement si quelqu'un pense à diffuser les robots de production.txt contre ce qu'il ressemblait au trimestre dernier.
Cette asymétrie est tout l'argument pour mettre le contrôle dans le pipeline. Un test qui fonctionne sur chaque demande de tirage convertit un exercice médico-légal de six semaines en une construction rouge avec un nom de fichier joint. La personne qui a introduit le changement le tient toujours dans ses mains, a encore le contexte chargé, et le coût de la résolution à ce moment est environ une minute. Le même défaut découvert à partir d'un rapport de trafic coûte un quart.
Ce n'est délibérément pas un argument de surveillance. La surveillance vous indique que le site est déjà déindexé et vous demande de réagir. Une affirmation de l'IC vous indique que le déploiement aurait déindexé le site, avant que quiconque à l'extérieur de l'équipe puisse l'observer. C'est la même information fournie de l'autre côté de la limite de libération, qui est le seul côté où il est bon marché.
Ce qu'une vérification d'indexation affirme avant qu'un déploiement soit autorisé à travers
Les contrôles qui fonctionnent réellement sont ennuyeux et extrêmement spécifiques. Les robots.txt produits par la fabrication ne doivent pas contenir une interdiction de couverture. Il doit renvoyer à l'URL du plan du site. Le plus utile, il doit correspondre à un fichier instantané engagé dans le dépôt, de sorte que tout changement à celui-ci devient un diff examiné plutôt qu'un effet secondaire invisible de quelque chose d'autre. Les changements délibérés mettent à jour l'instantané et passent; les changements accidentels n'ont pas de mise à jour et échouent.
Le plan du site est compté et échantillonné plutôt que simplement validé. Assister un nombre minimum d'URL par rapport à la précédente compilation réussie, donc un effondrement de quatre mille entrées à onze devient un échec au lieu d'un déploiement. Affirmer qu'un échantillon aléatoire des URL listées renvoie en fait une réponse de 200. Assister chaque entrée utilise l'hôte canonique et une URL absolue. Assister le fichier analyse et reste sous les limites de taille et d'entrée avant qu'il ne soit soumis.
Les modèles sont numérisés pour les directives qu'ils ne doivent pas porter. Affirmer qu'aucun type de page ne rend pas d'index à moins que ce type de page n'apparaisse sur une liste d'autorisation stockée dans le dépôt — étapes de paiement, pages de compte, résultats de recherche internes, quoi que l'équipe ait effectivement décidé. La libraire est le véritable livrable ici. Il convertit une convention invisible en une déclaration d'intention écrite et susceptible d'examen, alors la question pourquoi cette page n'est pas indexée a toujours une réponse que quelqu'un a écrit exprès.
La portée du catalogue pour ce travail est clairement indiquée: -2–5 heures, 80 $ – 300 $ ou 5 000 – 20 000 $, difficulté de départ, catégorie d'indexation. Sa description promet le résultat dans le même registre — les moteurs de recherche voient exactement les pages dont ils ont besoin, en trouvent de nouvelles rapidement, et ne gaspillent pas le budget de rampe sur les ordures, tandis qu'un site accidentellement fermé par une libération ne laisse plus l'index inaperçu.
Ce que Schema.org marque en fait une machine
HTML décrit où les choses se trouvent sur une page. Il ne décrit pas ce qu'ils sont. Un prix, un numéro de téléphone et un code de produit sont tous des nœuds de texte à l'intérieur des divs en ce qui concerne l'arborescence de documents, et toute signification qu'une machine extrait d'eux est l'inférence de la mise en page qui a été conçue pour les yeux humains. Schema.org markup, généralement écrit comme JSON-LD dans une balise de script, supprime l'étape d'inférence en indiquant les types proprement.
Ce caractère explicite a deux consommateurs distincts, et ils l'utilisent différemment. Les moteurs de recherche l'ont lu pour décider si un résultat est admissible à une présentation enrichie — une note d'étoile, un prix avec disponibilité, des chapelures, une date d'événement, un accordéon FAQ sous le lien bleu. Les modèles de langage, qui consomment des pages en tant que texte, obtiennent une déclaration sans ambiguïté de l'entité décrite et de son rapport avec les autres, au lieu de reconstruire celle de la hiérarchie visuelle qu'ils ne voient pas.
La description du catalogue dit précisément ceci et plus : les moteurs de recherche et les modèles d'IA commencent à comprendre clairement quel type de produit, entreprise, auteur et événement vous avez, et de riches extraits dans les résultats de recherche ainsi que la chance d'être cité dans les réponses d'IA se développent. Le verbe opératoire grandit. Pas de garantie, pas de déverrouillage, pas de rang. Cette distinction entre l'admissibilité et le résultat est l'ensemble du contenu de la section suivante.
La portée est la micro-marque Schema.org avec vérification en CI, catégorie de données structurées, difficulté expérimentée, -4–8 heures pour 5–7 modèles, 120 – 500 $ ou 8 000 – 35 000 -. Notez que l'unité est des modèles, pas des pages. Vous marquez le modèle de produit une fois et chaque produit sur le site hérite, c'est pourquoi un seul bug de modèle se propage dans tout le catalogue en un seul déploiement.
Ce que le balisage ne fera pas, peu importe combien vous écrivez
Il ne classera pas une page. Markup est un format de description, pas un signal de qualité, et ajouter plus d'elle n'ajoute rien d'autre. Une page transportant sans faille Organisation, Produit et Fil d'ArianeListe balisage avec rien de digne de lire en dessous reste exactement où il était. Les équipes qui traitent le balisage comme un levier sont vraiment surprises lorsque le graphique ne bouge pas, et cette surprise est un échec de la fixation des attentes pendant la vente, pas un échec du travail.
Il ne fixera pas l'indexation, et les questions de commande. Si robots.txt bloque l'URL, aucun dropper ne lit le JSON-LD du tout, car la réponse n'est jamais demandée. Si une mise en page partagée ne comporte pas d'index, le balisage est rejeté avec la page qu'elle décrit. C'est exactement pourquoi le service d'indexation bon marché passe en premier dans n'importe quelle séquence saine: balisage sur une page qui ne peut pas être indexé est un fichier bien formé que personne n'ouvrira jamais.
Il ne créera pas d'admissibilité que le contenu n'a pas gagné. Les résultats riches comportent des exigences de contenu — une revue a besoin d'un examen réel, une recette a besoin de véritables ingrédients et étapes, un bloc FAQ a besoin de questions réellement répondues dans la page visible. Le balisage décrivant des choses qu'un visiteur ne peut trouver à l'écran n'est pas une optimisation. C'est une inadéquation entre les versions lisibles par machine et lisibles par l'homme du même document, et l'inadéquation est la seule chose dans ce domaine qui comporte un risque de pénalité manuelle.
Et ça ne remplacera pas la page. Lorsque le balisage et le contenu visible sont en désaccord, le contenu visible est traité comme une vérité fondamentale et le balisage est la partie qui est ignorée — ou, si le désaccord est systématique, méfiée pour l'ensemble du domaine. Le modèle mental utile est une légende sur une photographie. Une bonne légende vous dit ce que vous regardez. Une légende décrivant une photographie différente est pire qu'aucune légende du tout.
Markup pourrit parce que c'est une copie de données qui continue de changer
JSON-LD est une projection de vos données, pas une description de votre page. Le modèle de produit lit le prix, la devise, la disponibilité, l'UCK et la notation comptent sur les mêmes objets que les utilisations HTML, puis les ré-émet dans un second format qui se trouve dans une balise de script que personne ne regarde. Deux représentations de faits identiques, produites par deux chemins de code, et une seule d'entre elles est inspectée par un être humain tous les jours. Il n'est pas difficile de deviner qui cesse silencieusement de correspondre.
Les modes d'échec sont ternes et implacables. Un champ monétaire commence à arriver comme symbole au lieu d'un code ISO après un changement de localisation. Un enum de disponibilité cesse d'être InStock et devient une chaîne traduite. Une date perd son décalage de fuseau horaire lors d'un refacteur de sérialisation. Un objet auteur devient une chaîne de nom simple après une migration CMS. Chacun d'eux produit un balisage qui analyse toujours parfaitement comme JSON et ne valide plus comme Schema.org, qui est la pire combinaison possible.
C'est pourquoi le catalogue place la vérification dans le nom du service plutôt que de l'offrir en option après. L'étape CI rend chaque modèle balisé avec des données réelles, extrait le JSON-LD de la sortie rendue et le valide par rapport aux propriétés requises et recommandées pour son type déclaré. Une propriété requise manquante échoue à la construction. La vérification s'exécute sur chaque requête de tirage aussi longtemps que le dépôt existe, pas une fois pendant la semaine de transfert.
Cinq à sept modèles sont un compte réaliste pour la plupart des sites : maison, produit ou service, catégorie ou liste, article, et une organisation ou page de contact. À 4–8 heures pour 5–7 modèles, l'arithmétique que tout lecteur peut répéter — comme exemple de la façon dont la bande se divise, pas comme mesure de quoi que ce soit — se situe quelque part entre environ une demi-heure et environ une heure et demie par modèle. C'est à propos de ce que l'écriture d'un type correctement et le câblage une assertion prend réellement.
AI rampeurs lire un site différent de votre navigateur
Deux auditoires posent maintenant deux questions d'accès distinctes. Les robots de recherche classiques ont été négociés pendant des décennies et leur comportement est documenté de façon exhaustive. Les rampeurs d'IA sont plus récents et plus variés : certains récupèrent des pages en vrac pour des corpus de formation, certains récupèrent une poignée de documents au moment de la réponse, d'autres récupèrent une seule page parce qu'un utilisateur pose une question sur cette entreprise spécifique. Ils arrivent sous leurs propres chaînes utilisateur-agent, respectent robots.txt à des degrés variables, et la plupart du temps n'exécutent pas JavaScript.
Cette dernière clause est coûteuse et elle est régulièrement découverte trop tard. Un site rendu entièrement sur le client renvoie un document shell avec un div racine vide à tout ce qui n'exécute pas un moteur de navigateur complet. Un humain voit une page complète. Un récupérateur voit un cap, un squelette de chargement et rien d'autre. Aucune discipline de balisage ou d'hygiène plan du site ne compense cela, car le contenu n'a jamais été présent dans la réponse qui a été effectivement servie.
La décision d'accès elle-même est une décision d'affaires, et il n'y a pas une seule réponse correcte pour remettre chaque propriétaire. Certains veulent une portée maximale dans les réponses à l'IA et ouvrent tout délibérément. Certains veulent la documentation lisible pendant que les pages de prix restent hors des corps en vrac. Certains veulent refuser l'entraînement des rampeurs tout en permettant à l'agent de récupération qui récupère une page précisément parce qu'un client a demandé à leur sujet. robots.txt peut exprimer les trois positions, par agent utilisateur, et la plupart des sites n'en expriment actuellement aucun.
llms.txt est la convention émergente de l'autre côté du même problème : une carte en texte clair à la racine du site qui indique ce qu'est le site et quelle page porte l'explication canonique de chaque sujet, donc un lecteur modelé n'a pas à deviner de la navigation. La portée du catalogue est la préparation d'un site Web pour les rampeurs d'IA: robots.txt, ilms.txt, rendu — catégorie infrastructure d'IA, difficulté débutante, -4-8 heures, 150 $ – 450 $ ou 10 000 $ – 35 000 $ . Sa description ajoute la réaction la plus forte des propriétaires : pour la première fois, ils voient qui prend quoi.
Faire les trois dans l'ordre qui arrête le saignement d'abord
Ordre par dépendance, pas par ambition et pas par prix. L'indexation de la protection vient d'abord parce que tout en aval est subordonné à elle. Le balisage, l'accès AI, l'investissement de contenu et le lien interne sont tous évalués à zéro sur une URL qui est refusée ou ne porte aucun indice. Il se trouve également être le moins cher des trois à 80 $ – 300 $ ou 5 000 $ – 20 000 $, et le plus court à 2–5 heures, ce qui supprime l'excuse habituelle pour le reporter.
La préparation de Crawler est deuxième, car c'est l'autre moitié de la même question d'accès et elle touche les mêmes fichiers. Vous êtes déjà en train d'éditer robots.txt; ajouter des règles par agent, confirmant que les modèles qui comptent rendent côté serveur, et publier llms.txt appartient à ce même passe. Le catalogue le prix à 4-8 heures, 150 $ – 450 $ ou 10 000 $ – 35 000 $ . Le faire séparément signifie ouvrir le même fichier deux fois avec deux modèles mentaux différents, c'est ainsi que des règles contradictoires apparaissent.
Markup est troisième et il est le seul des trois notés Expérience plutôt que Débutant. 4-8 heures pour les modèles 5-7, 120 $ – 500 $ ou 8 000 $ – 35 000 $ Elle est troisième parce qu'elle signifie travail plutôt que travail d'accès: elle suppose que les pages sont accessibles, suppose que le contenu existe réellement, et suppose que quelqu'un dans la salle peut dire ce que chaque type de page est censé être une instance de. Cette dernière présomption est celle qui échoue habituellement.
Ajoutés ensemble — arithmétique n'importe quel lecteur peut répéter à partir des chiffres ci-dessus, offert à titre d'exemple et non à titre de prix forfaitaire coté — les trois bandes s'échelonnent de 350 $ à 1 250 $, soit 23 000 $ à 90 000 $, sur une période de 10 à 21 heures de travail. C'est la couche entière de lecture automatique d'un site, exprimée en un nombre qu'un acheteur peut peser sur son propre budget avant le début d'une conversation, plutôt que trois citations arrivant séparément sur trois semaines.
Garder les contrôles en vie après le paiement de la facture
Un contrôle CI qui émet un avertissement est un contrôle qui sera ignoré d'ici la quatrième semaine. L'affirmation doit échouer la construction et bloquer la fusion, et c'est une décision sociale bien plus qu'une décision technique. Il devrait être fait explicitement à la remise avec la personne qui possède le pipeline, parce que la première fois une construction devient rouge sur un robot. txt diff quelqu'un va demander de le déclasser en un avertissement, et la réponse doit déjà exister.
Le motif commited-snapshot est ce qui rend un contrôle de blocage survivable. Plutôt qu'une règle disant robots. txt ne doit jamais changer, le dépôt contient un fichier décrivant exactement ce que les robots.txt devraient être. Un changement délibéré met à jour ce fichier dans la même requête de tirage et est examiné comme tout autre diff. Un changement accidentel arrive sans la mise à jour correspondante et échoue immédiatement. Le chèque n'interdit pas le changement; il interdit le changement non remarqué, qui est le seul type qui fait mal.
La propriété est l'autre moitié de la survie. Ces fichiers sont situés dans l'écart entre le marketing et l'ingénierie et n'appartiennent à aucun département par défaut, c'est précisément pourquoi ils pourrissent. La désignation d'un examinateur pour les changements aux robots.txt, la génération de plan du site, la logique canonique et la liste d'exclusion ne coûte rien du tout et élimine l'ambiguïté qui laisse un navire de directive sans examen parce que les deux parties ont supposé que l'autre regardait.
Revoyez le balisage lorsque le modèle de données change plutôt que sur un calendrier. Un nouvel attribut de produit, une migration CMS, un nouveau type de page, un changement à la façon dont les auteurs sont stockés — chacun d'eux est une vraie raison de ré-exécuter la validation, et chacun d'eux est invisible à partir d'un calendrier d'examen trimestriel. Si la validation vit déjà dans CI, chacun de ces changements la ré-exécute automatiquement. C'est la différence entre un projet qui a été livré et une propriété que le site a maintenant en permanence.
Questions et réponses
Combien ça coûte d'ajouter Schema.org à un site web ?
Le catalogue VIT MARKET dresse la liste des micro-marqueurs Schema.org avec vérification en CI à 120 – 500 $, soit 8 000 – 35 000 , avec une durée déclarée de 4–8 heures pour les modèles 5–7. Elle est cotée Difficulté expérimentée et classée sous Données structurées. L'unité est des modèles plutôt que des pages, donc un modèle de produit couvre chaque produit sur le site.
Un site Web peut-il déployer accidentellement supprimer des pages de Google ?
Oui, et ça arrive normalement sans erreur nulle part. Une interdiction générale de mise en scène expédiée à la production, un noindex laissé à l'intérieur d'une mise en page partagée, ou une requête sitemap qui retourne silencieusement onze URL au lieu de quatre mille passera tous une construction. Le service de catalogue Plan du site, robot.txt et la protection d'indexation en CI existe pour exactement cela et est évalué à 80 $ – 300 $ ou 5 000 $ – 20 000 $ sur 2 à 5 heures, à la difficulté débutante.
Les données structurées améliorent-elles les classements?
C'est pas vrai. Markup rend une page admissible à des présentations enrichies et indique clairement ses entités pour les modèles d'IA, mais ce n'est pas un signal de classement et il ne peut pas sauver une URL que robots.txt bloque. Le catalogue présente l'avantage comme une croissance de riches extraits et comme une chance d'être cité dans les réponses de l'IA — une chance, pas une garantie — pour 4-8 heures sur 5-7 modèles.
Qu'est-ce que llms.txt et mon site en a-t-il besoin?
llms.txt est un fichier en texte clair à la racine du site indiquant aux lecteurs models ce qu'est le site et quelle page est canonique pour chaque sujet. Il appartient au service de catalogue Préparation d'un site web pour les rampeurs d'IA: robots.txt, ilms.txt, rendu — infrastructure d'IA, difficulté débutante, 4–8 heures, 150 $ – 450 $ ou 10 000 $ – 35 000 $ . Il aide le moins sur un site rendu par le client, qui ne renvoie rien à un récupérateur qui n'exécute pas JavaScript.