Практические статьи
Практические статьи
Первая статья раздела — как проверить сайт перед запуском, чтобы поисковые системы могли его найти и проиндексировать. Результат: страницы открываются без ошибок, robots.txt не закрывает лишнего, на рабочих страницах нет тестовых запретов индексации, карта сайта составлена, важные страницы связаны ссылками, а права на сайт подтверждены в инструментах для вебмастеров. Примеры в статье условные и нужны только для иллюстрации.
Проверка перед запуском не ускорит появление сайта в поиске волшебным образом. Она просто убирает препятствия, которые вы поставили сами.
Перед началом
- Адрес сайта в том виде, в котором он будет работать после запуска
- Доступ к файлам сайта или к панели управления, чтобы поправить robots.txt и карту сайта
- Список самых важных страниц: главная, разделы, контакты
- Аккаунты Google и Яндекса, чтобы подключить инструменты для вебмастеров
Проверьте, что страницы открываются
Пройдите по главным страницам как обычный посетитель, без входа в аккаунт. Страницы должны открываться без ошибок сервера, а несуществующие адреса — честно сообщать, что страницы нет, а не показывать пустую заглушку.
Условный пример: по любому опечатанному адресу сайт показывает главную. Для поисковика это выглядит как множество одинаковых страниц.
Проверьте robots.txt
Файл robots.txt лежит в корне сайта и подсказывает роботам, какие разделы обходить не нужно. Протокол появился в 1994 году, а в 2022 году стандартизован как RFC 9309. Убедитесь, что файл не закрывает весь сайт, и помните, что он управляет обходом, но не гарантирует, что страница не попадёт в индекс.
Условный пример: на тестовой версии сайт целиком закрыли от обхода и забыли убрать запрет при переносе. Поисковики видят лишь сам факт запрета.
Уберите тестовые запреты индексации
Кроме robots.txt, запрет индексации может стоять в коде отдельных страниц или в настройках системы управления сайтом. Проверьте, что на рабочих страницах таких запретов нет, а на служебных — есть там, где они действительно нужны.
Условный пример: в настройках CMS включена галочка «попросить поисковые системы не индексировать сайт», оставшаяся с этапа разработки.
Подготовьте карту сайта
Карта сайта в формате протокола Sitemaps (sitemaps.org) — список адресов, которые вы хотите показать поисковикам. Протокол существует с 2006 года, его поддерживают крупные поисковые системы. Включайте в карту только рабочие страницы, которые должны быть в поиске.
Условный пример: в карту попали адреса корзины и личного кабинета. Их лучше убрать — они не нужны в поиске.
Свяжите страницы ссылками
Поисковики находят страницы в основном по ссылкам. Каждая важная страница должна быть доступна из меню, разделов или других материалов сайта, а не только через поиск по сайту или форму.
Условный пример: статьи открываются только через внутренний поиск. Роботу не по чему перейти, и часть материалов остаётся незамеченной.
Сделайте понятные заголовки страниц
У каждой страницы должны быть свой заголовок и краткое описание, которые отражают её содержание. Одинаковые заголовки на десятках страниц мешают и посетителям, и поисковикам понять, чем страницы отличаются.
Условный пример: у всех товаров заголовок «Интернет-магазин». В результатах поиска такие страницы невозможно различить.
Пометьте оплаченные и пользовательские ссылки
Если на сайте есть реклама со ссылками, помечайте такие ссылки атрибутом rel="sponsored" или rel="nofollow" — этого требуют правила поисковиков. Ссылки в комментариях и на форумах можно пометить rel="ugc". Покупка и продажа ссылок для манипуляции ранжированием правилами запрещена.
Условный пример: партнёрский баннер ведёт на сайт рекламодателя. Ссылку в нём помечают как sponsored.
Подключите инструменты для вебмастеров
Подтвердите права на сайт в Google Search Console (до 2015 года — Google Webmaster Tools) и в Яндекс Вебмастере, добавьте карту сайта. Эти инструменты показывают данные самих поисковиков: какие страницы им известны и какие ошибки возникают при обходе.
Условный пример: после подключения инструмент сообщает, что часть страниц недоступна для робота. Это повод вернуться к шагам 1–3.
Типичные ошибки
- Оставить запрет обхода или индексации с тестовой версии сайта
- Считать, что robots.txt надёжно убирает страницу из поиска
- Добавлять в карту сайта служебные и несуществующие адреса
- Делать важные страницы доступными только через форму или внутренний поиск
- Ставить одинаковые заголовки на все страницы
- Покупать ссылки или участвовать в ссылочных схемах ради позиций
Альтернативы
- Если доступа к файлам сайта нет — попросите разработчика или хостинг-провайдера проверить robots.txt и карту сайта по этому списку.
- Если сайт сделан на конструкторе — поищите в его справке разделы о настройках для поисковых систем: многие функции там включаются галочками.
- Если вы не готовы подключать инструменты для вебмастеров — хотя бы проверьте, находится ли сайт по точному названию в поиске, но помните, что это лишь грубая проверка.
Чек-лист результата
- Главные страницы открываются без входа и без ошибок
- Несуществующие адреса не подменяются главной страницей
- robots.txt не закрывает весь сайт
- На рабочих страницах нет тестовых запретов индексации
- Карта сайта составлена и содержит только рабочие страницы
- Важные страницы доступны по ссылкам
- Оплаченные ссылки помечены sponsored или nofollow
- Права на сайт подтверждены в Search Console и Яндекс Вебмастере
Каталог публикаций для русскоязычных читателей
В этом разделе будут выходить отдельные материалы для читателей из России и других русскоязычных стран. Они пишутся с учётом того, какими поисковыми системами и инструментами пользуются русскоязычные владельцы сайтов, и не являются переводами материалов других языковых версий сайта.
Сейчас в каталоге одна статья — та, что выше. Новые материалы появятся в этом списке.
Темы, которые планирует редакция
- Как читать отчёты Яндекс Вебмастера: с чего начать новичку
- Почему страница выпала из индекса: возможные причины по шагам
- Комментарии и форумы на сайте: как помечать пользовательские ссылки
- Переезд сайта на новый адрес: что проверить в robots.txt и карте сайта
Редакционные правила
- Материалы каталога пишутся отдельно для каждой языковой версии и не являются переводами.
- В некоторых материалах есть ссылки на сторонние сайты, в том числе игровые сервисы; мы не отвечаем за их содержание, цены и условия.
- Мы не публикуем непроверяемые рейтинги сайтов и сервисов, обещания позиций и отзывы.
Смежные разделы
- Ответы на вопросы
Короткие ответы о PageRank, об индексации, о ссылках и метриках сайтов.
- Справочная информация
Словарь терминов: поиск и индексация, ссылки, метрики.
- Подборки материалов
Маршруты чтения: первый сайт, история поисковых метрик, ссылки без спама.
Источники
- Google Search Central — документация и политики в отношении спама
- Яндекс Справка для вебмастеров
- RFC 9309 (Robots Exclusion Protocol)
- sitemaps.org
Сведения актуальны на дату подготовки. Документация поисковых систем, их правила и инструменты для вебмастеров меняются — проверяйте актуальные данные в первоисточниках.