Por qué las páginas no se indexan: auditoría de 3310 direcciones propias

La cifra con la que empezó todo

El informe de indexación de páginas de Google Search Console muestra dos cifras juntas. Las nuestras decían: 738 páginas indexadas y 2572 fuera del índice. Google conoce 3310 direcciones de este sitio. Al buscador llegó el veintidós por ciento.

Una diferencia por sí sola no es una sentencia. Un dominio joven casi siempre se indexa de forma parcial: un buscador no tiene motivos para confiar en un sitio que conoció hace seis meses igual que en uno con diez años de historia. Algunas páginas están cerradas a propósito, otras redirigen, otras son administrativas.

Pero una diferencia de cuatro veces y media ya no es ruido. Cuando de tres mil y pico direcciones llega a la búsqueda menos de una cuarta parte, se abre el desglose por motivos y se lee línea a línea en lugar de adivinar con consejos generales.

Lo que sigue es ese desglose, con nuestras propias cifras, el error que cometimos por el camino y la corrección que sí funcionó. Nada teórico: todo ocurrió en este sitio en el plazo de una semana.

Diez motivos, y no pesan lo mismo

El informe reparte las páginas no indexadas en categorías. Nosotros teníamos diez, y lo primero que conviene entender es que su gravedad es muy distinta. La mitad se puede ignorar sin problema.

Página con redirección: 27 direcciones. Funcionamiento normal del sitio: una dirección antigua apunta a una nueva, el rastreador lo anota y sigue. No hay nada que arreglar.

Página alternativa con etiqueta canónica correcta: 16 direcciones. También normal: existen varias versiones de una misma página, indicaste la principal y el buscador te hizo caso.

Excluida por etiqueta noindex: 132 direcciones. Puede ser normal si cerraste esas páginas a conciencia. Las nuestras las cierra el filtro editorial de la revista: los textos que no alcanzan en profundidad o en fuentes no entran en la búsqueda. Sería un problema solo si allí acabara algo que no pretendíamos cerrar.

Bloqueada por robots.txt: 5 direcciones. Secciones administrativas. Así estaba previsto.

Las tres categorías restantes son donde empieza la conversación de verdad.

Qué significa rastreada pero no indexada

La fórmula significa literalmente esto: el rastreador llegó, leyó la página entera y decidió no quedársela. No es que no pudiera ni que no la encontrara: decidió.

Nosotros teníamos aquí 383 páginas, y en un día aparecieron treinta y dos más. Encontramos la causa rápido, porque poco antes habíamos estado revisando fichas de producto.

La descripción rusa del producto se montaba al vuelo con el nombre en inglés y una categoría traducida. Salía una frase del tipo prenda de diseño medido en la categoría tal, silueta serena, materiales de calidad. La misma en las dieciséis fichas, cambiando dos palabras.

Para un buscador eso son dieciséis páginas casi idénticas. Lee la primera, la segunda, la tercera, y deja de ver sentido en conservar el resto. Ocurre exactamente lo mismo con las descripciones copiadas del proveedor: si un texto está en cien sitios, ninguno saca ventaja.

Solo hay una cura: texto único en cada página. No reescrito con sinónimos, sino escrito sobre esa prenda concreta: qué es, de qué está hecha, con qué se lleva, en qué se diferencia de la de al lado en el catálogo.

Por qué cerramos nosotros mismos parte de las páginas

Un pequeño rodeo, porque 132 direcciones cerradas parecen un descuido y en realidad son una regla que escribimos a propósito.

La revista tiene un filtro editorial: unas veinticinco condiciones que un texto debe cumplir para entrar en la búsqueda. Una extensión mínima, distinta para cada idioma. Al menos dos fuentes en dos dominios independientes. Ningún encabezado repetido dentro del texto. Densidad de la consulta principal no superior a algo más del dos por ciento.

Un texto que no pasa el filtro se publica igualmente y se puede leer, pero lleva la etiqueta noindex. Así una nota floja no entra en la búsqueda ni arrastra consigo la reputación de la sección.

La lógica es sencilla. El buscador no juzga solo la página concreta, sino la sección entera. Cien textos sólidos y trescientos flojos es un sitio en el que tres cuartas partes de la revista no merecen atención, y los textos nuevos se indexan más despacio. Cien textos sólidos y trescientos cerrados es un sitio en el que en la búsqueda solo está lo que estamos dispuestos a defender.

La diferencia es que lo primero el buscador lo averigua solo y lo generaliza a toda la sección. Lo segundo se lo contamos nosotros de antemano.

Qué significa detectada pero no indexada

Esta categoría pesa más que la anterior, aunque suene más suave. Significa que el rastreador ni siquiera vino. La dirección la conoce, porque la enviaste tú en el sitemap, pero no se le asignó rastreo.

Nosotros teníamos aquí 1331 direcciones. El día anterior eran 1135. La categoría crecía unas doscientas al día y era la mayor del informe.

La distinción es esencial. En el primer caso el buscador valoró el contenido y lo rechazó. En el segundo no dedicó tiempo alguno a la página, así que la pregunta no es el texto, sino por qué el sitio no se ganó el rastreo.

A eso se le llama presupuesto de rastreo. El rastreador llega con un límite de tiempo y de peticiones. No está obligado a recorrer todo lo que envías y decide por su cuenta en qué gastarlo. En un dominio joven el límite es pequeño, y hay que administrarlo con cuidado.

Tres sitios donde suele estar la causa

Cuando el rastreador no viene, la respuesta está casi siempre en uno de tres sitios.

El primero: el tamaño del sitemap en relación con la autoridad del dominio. Dos mil direcciones para un sitio con cien enlaces entrantes es una pretensión sin respaldo. El buscador ve el volumen, calibra la confianza y rastrea una parte pequeña.

El segundo: los enlaces internos. Una página a la que no enlaza ninguna otra página del sitio casi no existe para el rastreador. El sitemap comunica una dirección; no comunica importancia. La importancia la transmiten los enlaces.

El tercero: las señales de calidad de una sección entera. Si el buscador ha recorrido cien páginas de una sección y no se ha quedado con ninguna, también ahorra en las demás. La sección adquiere una reputación, y esa reputación se extiende a las direcciones nuevas de dentro.

Comprobamos los tres y encontramos la causa en el segundo y el primero a la vez.

El cuarenta y tres por ciento del sitemap iba a una sola sección

Abrimos el sitemap y contamos su composición. Había 2074 direcciones. De ellas, 900 correspondían a las fichas de un catálogo: una sección de producto con trescientos un artículos en tres idiomas.

El cuarenta y tres por ciento de todo lo que enviábamos a la búsqueda iba a una sola sección. Y era precisamente la que casi no se indexaba.

Después contamos los enlaces internos. Desde la página de la sección salían enlaces a veinticinco fichas de trescientas una. Las doscientas setenta y seis restantes solo eran accesibles a través de once páginas de paginación. Esas páginas de paginación no estaban en el sitemap.

El cuadro quedó claro. Enviamos novecientas direcciones a la búsqueda y a la vez comunicamos, con la estructura del sitio, que de ellas importan veinticinco. El rastreador lo lee literalmente: si el dueño no considera necesario enlazarlas, probablemente no son importantes.

Por qué esto frena todo el sitio y no solo una sección

Aquí está el punto que más se pasa por alto. El presupuesto de rastreo es común para el dominio. No se reparte a partes iguales entre secciones ni se reserva para lo importante.

Es decir, cien páginas de servicios con precios compiten por la atención del rastreador con mil direcciones que nunca iban a posicionar. Y pierden, simplemente porque las segundas son más.

No es una penalización: es el reparto habitual de un recurso limitado. Pero para gobernarlo hay exactamente dos palancas: lo que envías en el sitemap y lo que enlazas dentro del sitio.

Usamos la primera, porque da resultado de inmediato, mientras que la segunda exige rehacer la sección.

El error que cometimos por el camino

El consejo estándar para un sitemap grande es dividirlo en un índice: un archivo principal que apunta a varios temáticos. Al buscador le resulta más fácil repartir el rastreo, y tú ves la cobertura por secciones.

Eso hicimos. Y rompimos el sitemap entero.

El sitio funciona con Next.js y rutas localizadas del tipo /ru y /es. En cuanto el sitemap pasa a modo índice, el archivo principal deja de servirse desde su propio gestor y cae en la ruta general, que interpreta su nombre como un código de idioma. El resultado es un 404 en el archivo al que apunta robots.txt.

Lo detectamos antes de publicar, en una compilación local. Revertimos y comprobamos que el sitemap volvía a devolver 200 con el mismo número de direcciones. A producción no llegó nada roto.

La lección no va de Next.js: cualquier cambio en el sitemap hay que verificarlo con una petición al propio archivo, no leyendo el código. Cuesta treinta segundos, y el precio del error es perder el sitemap entero hasta que alguien se dé cuenta.

Qué cambiamos al final

Quitamos novecientas fichas del sitemap y dejamos en él la página de la sección. El sitemap pasó de 2074 direcciones a 1174.

Las páginas siguen donde estaban. Se abren, devuelven 200, son accesibles para las personas y por enlaces internos, y participan en la navegación. Solo cesó el envío a la búsqueda, es decir, la petición de recórrelo, por favor.

La diferencia entre quitar del sitemap y cerrar a la indexación es fundamental, y se confunde continuamente. La etiqueta noindex le dice al buscador: no muestres esta página en los resultados. Quitarla del sitemap dice otra cosa: ya no te pido que gastes rastreo en ella ahora mismo.

Lo segundo es reversible con una línea y no deja rastro. Cuando la sección tenga enlaces internos decentes o el dominio gane autoridad, las fichas volverán al sitemap.

Qué esperar después y qué no

No habrá efecto inmediato. El buscador vuelve a leer el sitemap en una o dos semanas, y la categoría de páginas detectadas se reduce poco a poco en lugar de ponerse a cero.

Importa más otra cosa, y conviene decirla claro: recortar el sitemap no crea autoridad. Redistribuye la atención del rastreador sin aumentarla. Si el dominio tiene pocos enlaces entrantes, mil quinientas direcciones también se indexarán despacio, solo que despacio y con sentido en lugar de despacio y en vano.

Por eso conviene verlo como higiene y no como estrategia. Quita el ruido para que lo demás funcione con honradez. El crecimiento lo traen otras cosas: menciones en sitios ajenos, texto único en las páginas, consultas reales por las que te encuentran.

Qué haremos a continuación

Recortar el sitemap es el primero de tres pasos, y los otros dos son más largos.

El segundo es rehacer los enlaces internos de ese catálogo. Veinticinco enlaces para trescientos un artículos tienen que convertirse en una estructura donde cualquier ficha esté a dos o tres clics de la portada: selecciones por uso, enlaces cruzados entre artículos vecinos, páginas de paginación presentes en el sitemap. No va de texto SEO al pie de la página: va de navegación que la gente usa de verdad.

El tercero es devolver las fichas al sitemap por tandas. No las novecientas de golpe, sino de cien en cien, empezando por aquellas a las que ya llegan enlaces. Así se ve qué le pasa a la indexación de cada tanda, y si una deja de entrar, se sabe dónde parar.

El orden no es casual. Devolver direcciones al sitemap sin arreglar los enlaces repite la misma historia un mes después.

Aparte, sobre los errores 404

En el informe aparecen 673 direcciones que responden no encontrado, con la validación marcada como fallida. La cifra asusta, sobre todo al lado de 738 páginas indexadas.

Pero es herencia de una migración de plataforma. El buscador conoció cientos de direcciones antiguas durante años, y al cambiar de motor dejaron de existir.

Aquí el 404 es correcto. Es más: para páginas borradas para siempre y sin sustituto, es mejor responder 410, una señal directa de eliminación definitiva que saca esas direcciones de la cola más rápido.

Lo que no hay que hacer: redirigir en masa las direcciones antiguas a la portada. El buscador lo reconoce como un error blando y no indexa igualmente, y tú pierdes la posibilidad de saber qué páginas antiguas sigue buscando alguien.

Cómo comprobar lo mismo en tu sitio

Abre el informe de indexación y anota todos los motivos con su número de direcciones. Súmalos y compara el total con el número de líneas de tu sitemap: solo la discrepancia ya te dice si el buscador conoce páginas que tú no enviaste.

Busca la categoría que más rápido crece. Esa, y no la mayor en términos absolutos, indica hacia dónde va el sitio.

Cuenta de qué se compone el sitemap por secciones. Si una sección ocupa más de un tercio y encima no se indexa, ya has encontrado tu cuello de botella.

Mira cuántos enlaces internos llevan a las páginas de esa sección. Una diferencia del doble entre direcciones en el sitemap y enlaces que apuntan a ellas ya es una señal.

Y revisa por muestreo una decena de direcciones del sitemap para ver su etiqueta robots. Enviar a la búsqueda lo que tú mismo has cerrado a la indexación es un error frecuente y caro: gasta rastreo y estropea la confianza en todo el sitemap.

Sobre la frecuencia de las revisiones

Lo último, y te ahorrará tiempo. Los datos de Search Console van con dos o tres días de retraso.

Exportamos el informe tres días seguidos. Las exportaciones del segundo y el tercero coincidían hasta la unidad en las diez filas: no de forma aproximada, sino literalmente las mismas cifras.

Mirar el informe a diario no sirve de nada: ves la misma foto y sacas conclusiones sobre una tendencia que los datos no contienen. Una vez por semana basta para notar el movimiento y no confundir el retraso de la exportación con el resultado de una corrección.