Как robots.txt может убить ваши канонические теги

В погоне за чистотой индекса мы часто закрываем в robots.txt всё, что содержит знак вопроса. Логика понятная: там же мусор — параметры фильтров, UTM-метки, технические строки. Но есть одна тонкость, которая может разрушить всю вашу SEO-стратегию.

Как это работает (и почему ломается)

Представим, что у вас есть основная страница:

https://example.ru/service

На неё ведут тысячи рекламных ссылок с UTM-метками:

https://example.ru/service?utm_source=yandex&utm_campaign=summer

На самой странице прописан канонический тег:

<link rel="canonical" href="https://example.ru/service" />

Это говорит поисковику: «Все версии этой страницы — дубли. Индексируй только чистый URL».

Но если в robots.txt написано:

Disallow: *?*

робот даже не зайдёт на страницу с параметрами. Он не увидит канонику и будет считать, что это самостоятельная страница, либо просто потратит краулинговый бюджет впустую.

Что будет в индексе?

Как исправить: пошаговая инструкция

Шаг 1. Уберите глобальный запрет всех параметров

Замените опасную директиву:

# Было (опасно):
Disallow: *?*

# Стало (безопасно):
# Разрешаем заходить на страницы с параметрами,
# чтобы робот мог прочитать канонический тег

Шаг 2. Оставьте запрет только для реального технического мусора

Например, для Joomla:

Disallow: /*?option=com_
Disallow: /*?view=*
Disallow: /*?layout=*
Disallow: /*?format=*

Шаг 3. Добавьте Clean-param для Яндекса

Это поможет роботу понимать, какие параметры можно игнорировать:

User-agent: Yandex
Clean-param: utm_source&utm_medium&utm_campaign&source&block&position&ybaip

Шаг 4. Проверьте в Яндекс.Вебмастере

Введите любой URL с параметрами и убедитесь, что он разрешён к обходу.

Пример правильного robots.txt

# robots.txt для сайта с ЧПУ и каноническими тегами

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /tmp/
Disallow: /media/
Disallow: /component/
Disallow: /index.php

# Технические параметры (на всякий случай)
Disallow: /*?option=com_
Disallow: /*?view=*
Disallow: /*?layout=*
Disallow: /*?format=*

# Яндекс
User-agent: Yandex
Allow: /
Crawl-delay: 2
Clean-param: utm_source&utm_medium&utm_campaign&source&block&position&ybaip&etext

# Sitemap
Sitemap: https://example.ru/sitemap.xml

Чек-лист для проверки

• ✅ В robots.txt нет глобального запрета *?*
• ✅ На всех важных страницах прописан канонический тег
• ✅ В Яндекс.Вебмастере URL с UTM-метками показывают статус «Разрешено»
• ✅ В логах неканонические страницы не имеют статуса «Индексирование»

Вывод

Канонические теги и robots.txt должны работать вместе, а не против друг друга. Запрещая роботу доступ к страницам с параметрами, вы лишаете его возможности увидеть канонику. А без неё рекламный мусор может начать жить своей жизнью в индексе.

Правильная стратегия: разрешить роботу заходить на все страницы с параметрами, но с помощью канонических тегов и Clean-param объяснить, что индексировать нужно только чистые версии.

---

Категории:

Категории

• Главная
• 1С
• 2040
• AD
• CG
• IOT умный дом
• Joomla
• Linux
• macOS
• mysql
• php
• SEO
• Windows
• zabbix
• Безопасность
• Железо
• Защита данных
• Нейросети
• Простотак
• Сети LAN
• Создание сайтов
• Электрика
• Электроника

Посетителей сегодня: 0

о блоге | карта блога | 📡 Подписаться на RSS