Почему страницы не индексируются: разбор на 3310 собственных адресах

Цифра, с которой всё началось

Отчёт «Индексирование страниц» в Google Search Console показывает два числа рядом. У нас они были такими: 738 страниц в индексе и 2572 вне его. Всего поисковик знает о 3310 адресах сайта. В индекс попало двадцать два процента.

Сам по себе разрыв не приговор. Молодой домен почти всегда индексируется частично: у поисковика нет причин доверять сайту, о котором он узнал полгода назад, ровно так же, как площадке с десятилетней историей. Часть страниц закрыта от индексации намеренно, часть отдаёт редиректы, часть — служебная.

Но разрыв в четыре с половиной раза — это уже не погрешность. Когда из трёх с лишним тысяч адресов в поиск попадает меньше четверти, нужно открывать разбивку по причинам и читать её построчно, а не гадать по общим советам.

Дальше — разбор нашего собственного отчёта, с цифрами, с ошибкой, которую мы допустили по дороге, и с правкой, которая в итоге сработала. Ничего теоретического: всё, что описано, происходило на этом сайте в течение одной недели.

Десять причин, и они неравнозначны

Отчёт делит непроиндексированные страницы на категории. У нас их оказалось десять, и первое, что нужно понять: они не равны по тяжести. Половину можно смело игнорировать.

«Страница с переадресацией» — 27 адресов. Это нормальная работа сайта: старый адрес ведёт на новый, поисковик отмечает факт и идёт дальше. Ничего чинить не нужно.

«Альтернативная страница с правильным каноническим тегом» — 16 адресов. Тоже норма: у вас есть несколько версий одной страницы, вы указали главную, поисковик её услышал.

«Исключено тегом noindex» — 132 адреса. Это может быть нормой, если вы закрывали страницы осознанно. У нас закрывает редакционный фильтр журнала: материалы, не добравшие по глубине или источникам, не идут в поиск. Проблема была бы, если бы туда попало то, что закрывать не собирались.

«Заблокировано в robots.txt» — 5 адресов. Административные разделы. Так и задумано.

А вот три оставшиеся категории — это уже разговор по существу.

Что означает «просканировано, но не проиндексировано»

Эта формулировка означает буквально следующее: робот пришёл, прочитал страницу целиком и решил её не брать. Не «не смог», не «не нашёл» — именно решил.

У нас в этой категории лежало 383 страницы, и за сутки их стало на тридцать две больше. Причину мы нашли быстро, потому что незадолго до этого разбирали карточки товара.

Русское описание товара собиралось на лету из английского названия и переведённой категории. Получалась фраза вида «такая-то вещь — выверенная модель в категории такой-то, спокойный силуэт, качественные материалы». Одна и та же на всех шестнадцати карточках, менялись только два слова.

С точки зрения поисковика это шестнадцать почти одинаковых страниц. Он читает первую, вторую, третью — и перестаёт видеть смысл держать в индексе остальные. Ровно то же происходит с описаниями, скопированными у поставщика: если один текст стоит на сотне сайтов, ни один из них не получает преимущества.

Лечится это единственным способом — уникальным текстом на каждой странице. Не переписанным синонимами, а написанным про конкретную вещь: что это, из чего, с чем носить, чем отличается от соседней позиции в каталоге.

Почему часть страниц мы закрываем от поиска сами

Здесь стоит отступить в сторону, потому что 132 закрытых адреса выглядят как недосмотр, а на деле это правило, которое мы написали намеренно.

В журнале работает редакционный фильтр: около двадцати пяти условий, которые материал должен выполнить, чтобы попасть в поиск. Минимальный объём — своя планка для каждого языка. Минимум два источника на двух независимых доменах. Заголовки внутри текста не должны повторяться. Плотность главного запроса не выше двух с небольшим процентов.

Материал, не прошедший фильтр, публикуется и доступен читателю, но получает метатег noindex. Так тонкая заметка не попадает в поиск и не тянет за собой репутацию раздела.

Логика простая. Поисковик оценивает не только конкретную страницу, но и раздел целиком. Сто сильных материалов и триста слабых — это сайт, у которого три четверти журнала не стоят внимания, и новые тексты в нём индексируются медленнее. Сто сильных материалов и триста закрытых — сайт, где в поиске только то, что мы готовы защищать.

Разница в том, что первое поисковик выясняет сам и делает выводы обо всём разделе. Второе мы сообщаем ему заранее.

Что означает «обнаружено, но не проиндексировано»

Эта категория тяжелее предыдущей, хотя звучит мягче. Она означает, что робот даже не приходил. Адрес ему известен — вы сами подали его в карте сайта, — но обход на него не выделен.

У нас здесь лежал 1331 адрес. Днём раньше их было 1135. Категория росла примерно на две сотни в сутки и была крупнейшей в отчёте.

Разница принципиальна. В первом случае поисковик оценил содержимое и отказался. Во втором он вообще не тратил на страницу времени — то есть вопрос не в тексте, а в том, почему сайт не заслужил обхода.

Это и называется бюджетом обхода. Робот приходит с ограниченным лимитом времени и запросов. Он не обязан обойти всё, что вы подали, и решает сам, на что его потратить. На молодом домене лимит невелик, и распоряжаться им приходится аккуратно.

Три места, где обычно лежит причина

Когда робот не приходит, ответ почти всегда в одном из трёх мест.

Первое — размер карты сайта относительно авторитета домена. Две тысячи адресов для сайта с сотней внешних ссылок — заявка, которую нечем подкрепить. Поисковик видит объём, оценивает доверие и обходит малую часть.

Второе — внутренние ссылки. Страница, на которую не ссылается ни одна другая страница сайта, для робота почти не существует. Карта сайта сообщает адрес, но не сообщает важность. Важность передают ссылки.

Третье — сигналы качества раздела целиком. Если поисковик обошёл сотню страниц одного раздела и ни одну не взял в индекс, он экономит время и на остальных. Раздел получает репутацию, и она распространяется на новые адреса внутри него.

Мы проверили все три и нашли причину во втором и первом одновременно.

Сорок три процента карты сайта уходили в один раздел

Мы открыли карту сайта и посчитали состав. В ней было 2074 адреса. Из них 900 приходились на карточки одного каталога — товарного раздела с тремястами одной позицией на трёх языках.

Сорок три процента всего, что мы подавали в поиск, приходилось на один раздел. И именно он практически не индексировался.

Дальше мы посчитали внутренние ссылки. Со страницы раздела ссылки шли на двадцать пять карточек из трёхсот одной. Остальные двести семьдесят шесть были доступны только через одиннадцать страниц пагинации. Этих страниц пагинации в карте сайта не было вообще.

Картина сложилась. Мы подаём в поиск девятьсот адресов и одновременно сообщаем структурой сайта, что важны из них двадцать пять. Робот читает это буквально: если владелец не считает нужным на них ссылаться, вероятно, они не важны.

Почему это тормозит весь сайт, а не только один раздел

Здесь ключевой момент, который часто упускают. Бюджет обхода общий на домен. Он не делится по разделам поровну и не резервируется под важное.

То есть сотня страниц услуг с ценами и каталог одежды соревнуются за внимание робота с тысячей адресов, которые не собирались ранжироваться. И проигрывают, потому что тех просто больше.

Это не штраф и не наказание — обычное распределение ограниченного ресурса. Но управлять им можно ровно двумя рычагами: тем, что вы подаёте в карте, и тем, на что ссылаетесь внутри сайта.

Мы решили воспользоваться первым, потому что он даёт результат немедленно, а второй требует переделки раздела.

Ошибка, которую мы допустили по дороге

Стандартный совет при большой карте сайта — разбить её на индекс: главный файл ссылается на несколько тематических. Так поисковику проще распределять обход, а вам — видеть покрытие по разделам отдельно.

Мы так и сделали. И сломали карту сайта целиком.

Сайт построен на Next.js с локализованными маршрутами вида /ru и /es. Как только карта переводится в режим индекса, главный файл перестаёт обслуживаться отдельным обработчиком и попадает в общий маршрут, который принимает его имя за код языка. Результат — четыреста четвёртая ошибка на том самом файле, на который ссылается robots.txt.

Поймали до выкладки, на локальной сборке. Откатили, проверили, что карта снова отдаёт код двести и прежнее число адресов. На боевой сайт сломанное не уехало.

Вывод из этого простой и не про Next.js: любую правку карты сайта надо проверять запросом к самому файлу, а не глазами по коду. Стоит это тридцать секунд, а цена ошибки — полная потеря карты до тех пор, пока кто-нибудь не заметит.

Что мы изменили в итоге

Мы убрали девятьсот карточек из карты сайта и оставили в ней страницу раздела. Карта сократилась с 2074 адресов до 1174.

Страницы при этом остались на месте. Они открываются, отдают код двести, доступны людям и по внутренним ссылкам, участвуют в навигации. Прекратилась только подача в поиск — то есть заявка «пожалуйста, обойди это».

Разница между «убрать из карты» и «закрыть от индексации» принципиальна, и её постоянно путают. Метатег noindex говорит поисковику: не показывай эту страницу в результатах. Удаление из карты говорит другое: я больше не прошу тебя тратить на неё обход именно сейчас.

Второе обратимо одной строкой и не оставляет следов. Когда у раздела появятся нормальные внутренние ссылки или у домена вырастет авторитет, карточки вернутся в карту.

Чего ждать после такой правки и чего ждать не стоит

Мгновенного эффекта не будет. Поисковик перечитывает карту сайта в течение одной-двух недель, и категория «обнаружено, но не проиндексировано» сокращается постепенно, а не обнуляется.

Важнее другое, и об этом стоит сказать прямо: правка карты не создаёт авторитета. Она перераспределяет внимание робота, но не увеличивает его. Если у домена мало внешних ссылок, полторы тысячи адресов тоже будут индексироваться медленно — просто медленно и по делу, а не медленно и вхолостую.

Поэтому такую правку стоит считать гигиеной, а не стратегией. Она убирает шум, чтобы остальное работало честно. Рост приносят другие вещи: упоминания на внешних площадках, уникальный текст на страницах, реальные запросы, по которым вас находят.

Что мы делаем дальше

Сокращение карты — первый шаг из трёх, и остальные два дольше.

Второй — переделка внутренних ссылок в том самом каталоге. Двадцать пять ссылок на триста одну позицию нужно превратить в структуру, где до любой карточки два-три перехода от главной: подборки по назначению, перекрёстные ссылки между соседними позициями, страницы пагинации в карте сайта. Это не про SEO-текст внизу страницы, это про навигацию, которой пользуются люди.

Третий — возврат карточек в карту частями. Не всех девятисот разом, а по сотне-полторы, начиная с тех, на которые уже ведут ссылки. Так видно, что происходит с индексацией каждой партии, и если очередная сотня не берётся, понятно, где остановиться.

Порядок именно такой, и он неслучаен. Вернуть адреса в карту, не починив ссылки, значит повторить ту же историю через месяц.

Отдельно про четыреста четвёртые ошибки

В отчёте у нас 673 адреса с ответом «не найдено», и статус проверки — «не удалось». Число выглядит пугающе, особенно рядом с 738 проиндексированными страницами.

Но это наследство переезда с прежней платформы. Поисковик годами знал сотни старых адресов, и после смены движка они перестали существовать.

Ответ четыреста четыре здесь корректен. Более того, для страниц, которые удалены навсегда и не имеют замены, правильнее отвечать четыреста десять — это прямой сигнал «удалено окончательно», и поисковик убирает такие адреса из очереди быстрее.

Чего делать точно не нужно: массово перенаправлять старые адреса на главную. Поисковик распознаёт это как мягкую ошибку и всё равно не индексирует, а вы теряете возможность понять, какие старые страницы ещё кто-то ищет.

Как проверить то же самое на своём сайте

Откройте отчёт «Индексирование страниц» и выпишите все причины с числом адресов. Сложите их и сравните сумму с числом строк в вашей карте сайта — расхождение уже скажет, знает ли поисковик о страницах, которых вы не подавали.

Найдите категорию, которая растёт быстрее прочих. Именно она, а не самая большая по абсолютному числу, показывает, куда движется сайт.

Посчитайте состав карты по разделам. Если один раздел занимает больше трети и при этом не индексируется, вы нашли своё узкое место.

Посмотрите, сколько внутренних ссылок ведёт на страницы этого раздела. Двукратная разница между числом адресов в карте и числом ссылок на них — уже сигнал.

И проверьте выборочно десяток адресов из карты на метатег robots. Подавать в поиск то, что сами закрыли от индексации, — частая и дорогая ошибка: она тратит обход и портит доверие к карте целиком.

Про частоту проверок

Последнее, и это сэкономит вам время. Данные в Search Console отстают на два-три дня.

Мы выгружали отчёт три дня подряд. Выгрузки за второй и третий день совпали до единицы по всем десяти строкам — не приблизительно, а буквально одни и те же числа.

Смотреть отчёт ежедневно бессмысленно: вы видите один и тот же снимок и делаете выводы о динамике, которой в данных нет. Раз в неделю — достаточная частота, чтобы заметить движение и не принять задержку выгрузки за результат правки.