Clean-param в robots.txt: как убрать GET-параметры и дубли в Яндексе

Clean-param — директива robots.txt для Яндекса, которая помогает объединять URL, отличающиеся служебными GET-параметрами. Она нужна, когда один и тот же контент доступен по множеству адресов вроде ?utm_source=, ?sid= или ?ref= и эти параметры не меняют смысл страницы.

Для российского сайта это важный инструмент технического SEO: лишние URL создают дубли, увеличивают число обращений поискового робота и усложняют контроль индексации. Но Clean-param нельзя применять ко всем параметрам подряд. Если параметр меняет ассортимент, создаёт полезную страницу фильтра, переключает пагинацию или формирует отдельную посадочную страницу, его удаление из логики Яндекса может закрыть от поиска нужный URL.

В этом руководстве разберём, как работает Clean-param, чем он отличается от Disallow, noindex и rel="canonical", как настроить GET-параметры в Яндекс Вебмастере и что делать с такими же URL в Google.

Главная мысль: Clean-param нужен не для «закрытия всех параметров», а для тех параметров, которые не создают самостоятельную полезную страницу. Сначала определите смысл параметра, и только потом добавляйте правило.

Содержание

• Что такое Clean-param
• Зачем нужен Clean-param
• Синтаксис Clean-param
• Примеры настройки
• UTM и рекламные параметры
• Clean-param и фильтры интернет-магазина
• Clean-param и пагинация
• Clean-param и Disallow
• Clean-param и noindex
• Clean-param и canonical
• Настройка GET-параметров в Яндекс Вебмастере
• Что делать в Google
• Как проверить настройку
• Типичные ошибки
• Практические сценарии
• Чек-лист
• FAQ
• Вывод

Что такое Clean-param

Clean-param сообщает роботу Яндекса, что определённые параметры URL не нужно учитывать при индексировании.

Представим страницу:

https://example.ru/catalog/kresla/

На неё ведут рекламные ссылки:

https://example.ru/catalog/kresla/?utm_source=yandex
https://example.ru/catalog/kresla/?utm_source=email
https://example.ru/catalog/kresla/?utm_source=telegram

Если основной контент во всех случаях одинаков, поисковой системе не нужны четыре самостоятельных документа. Для Яндекса можно указать, что utm_source не влияет на содержимое:

User-agent: Yandex
Clean-param: utm_source

Тогда URL с этим параметром рассматриваются как варианты основного адреса.

Официальная справка Яндекса: Директива Clean-param.

Что именно делает директива

По документации Яндекса, Clean-param позволяет указать роботу на основной URL среди адресов с незначащими параметрами. Яндекс отдельно рекомендует этот механизм вместо простого Disallow, если задача состоит именно в обработке дублей с GET-параметрами. В справке также отмечено, что такой подход позволяет передать основному URL или сайту часть накопленных показателей.

Это принципиально: Clean-param и Disallow решают разные задачи.

Clean-param → параметр не должен создавать отдельный документ
Disallow    → робот не должен обходить указанный URL или шаблон

Зачем нужен Clean-param в SEO

GET-параметры сами по себе не являются ошибкой. Они используются для аналитики, сортировки, фильтрации, сессий, рекламных меток и работы приложений. Проблема появляется, когда один полезный документ становится доступен по десяткам, тысячам или миллионам технических URL.

Например:

/product/chair/
/product/chair/?utm_source=yandex
/product/chair/?utm_source=vk
/product/chair/?ref=partner
/product/chair/?sid=83fd293

Если HTML и основной контент совпадают, поисковому роботу приходится разбираться, являются ли адреса отдельными страницами.

Для крупного сайта последствия могут быть заметными:

• увеличивается количество URL, которые робот пытается обойти;
• в отчётах появляются дубли и исключённые страницы;
• сервер получает лишние запросы;
• сложнее анализировать логи и индексирование;
• поисковые сигналы могут распределяться между техническими вариантами URL;
• важные новые страницы могут обнаруживаться медленнее.

Это напрямую связано с краулинговым бюджетом, особенно на интернет-магазинах и больших каталогах.

Яндекс отдельно приводит фильтры и параметры как пример ситуации, где робот может обходить разные адреса с одинаковым контентом, и рекомендует Clean-param для снижения лишнего обхода. См. справку как снизить нагрузку от робота.

Синтаксис Clean-param

Базовый синтаксис:

Clean-param: p0[&p1&p2&...&pn] [path]

Где:

• p0, p1 — имена GET-параметров;
• & разделяет несколько параметров;
• path — необязательный префикс пути, на котором должно действовать правило.

Простейший вариант:

User-agent: Yandex
Clean-param: ref

Правило действует по всему сайту.

Если параметр нужно игнорировать только в каталоге:

User-agent: Yandex
Clean-param: ref /catalog/

Несколько параметров:

User-agent: Yandex
Clean-param: ref&sid&utm_source /catalog/

По справке Яндекса правило чувствительно к регистру. Длина одного правила ограничена 500 символами. Директиву стоит задавать максимально точно и поддерживать в актуальном состоянии.

Важный нюанс секций robots.txt

Clean-param — межсекционная директива: Яндекс допускает её размещение в любом месте файла. Но если в robots.txt есть отдельная секция User-agent: Yandex, правила для Яндекса лучше держать согласованно в этой секции. Яндекс предупреждает, что при наличии отдельной секции для его робота правила из общей секции User-agent: * с ней не объединяются.

Это важно при реальном аудите: само наличие правильной строки Clean-param ещё не гарантирует, что остальные правила для Яндекса собраны без конфликтов.

Почему путь лучше ограничивать, когда это возможно

Один и тот же параметр может иметь разное назначение в разных частях проекта.

Например:

?sort=price

в каталоге может только менять порядок товаров, а в административном интерфейсе участвовать в другой логике. Глобальное правило без необходимости повышает риск ошибки.

Поэтому вместо:

Clean-param: sort

часто безопаснее:

Clean-param: sort /catalog/

если вы уверены, что именно в этом разделе параметр не создаёт самостоятельный поисковый документ.

Примеры настройки Clean-param

Партнёрская метка

URL:

https://example.ru/product/123/?ref=partner-a
https://example.ru/product/123/?ref=partner-b

Если ref не меняет товар и содержимое страницы:

User-agent: Yandex
Clean-param: ref /product/

Идентификатор сессии

https://example.ru/catalog/?sid=ABC123
https://example.ru/catalog/?sid=XYZ456

Если сессия не меняет индексируемый контент:

User-agent: Yandex
Clean-param: sid

Несколько служебных параметров

https://example.ru/catalog/?ref=partner&sid=123&utm_source=mail

Можно объединить их:

User-agent: Yandex
Clean-param: ref&sid&utm_source /catalog/

Но объединять параметры следует только после проверки каждого из них.

Clean-param для UTM-меток

UTM-параметры — самый понятный пример незначащих параметров:

utm_source
utm_medium
utm_campaign
utm_term
utm_content

Обычно они нужны аналитике и не меняют основное содержание страницы.

Яндекс указывает, что некоторые аналитические и рекламные параметры его алгоритмы могут удалять автоматически. Среди примеров в справке перечислены ysclid, yrclid, utm_source, utm_medium, utm_term, utm_content, utm_campaign и другие.

Это означает, что не нужно автоматически раздувать robots.txt огромным набором стандартных UTM только потому, что они существуют. Сначала проверьте Яндекс Вебмастер и реальные URL в индексе.

Если у проекта есть собственный рекламный параметр:

?partner_code=123

и он не меняет страницу, его уже имеет смысл рассматривать отдельно:

Clean-param: partner_code

Опасная ситуация

Не считайте параметр служебным только по названию.

Например:

?region=moscow

может менять:

• цены;
• наличие;
• адреса магазинов;
• сроки доставки;
• текст страницы;
• региональный поисковый интент.

Такой URL нельзя без анализа приравнять к обычной UTM-метке.

Clean-param и фильтры интернет-магазина

Именно здесь совершается больше всего ошибок.

Фильтр может быть техническим дублем:

/catalog/notebooks/?sort=price

а может создавать полезную SEO-посадочную:

/catalog/notebooks/?brand=lenovo

если страница отвечает самостоятельному спросу «ноутбуки Lenovo», имеет стабильный ассортимент, уникальные метаданные и должна участвовать в поиске.

Поэтому правило:

Clean-param: brand

может уничтожить всю SEO-логику индексируемых страниц брендов.

Перед настройкой разделите параметры на две группы:

Подробная стратегия разобрана в руководстве SEO фильтров интернет-магазина.

Clean-param и пагинация

Не добавляйте page в Clean-param автоматически.

URL:

/catalog/?page=1
/catalog/?page=2
/catalog/?page=3

показывают разные наборы товаров. Это не то же самое, что три UTM-варианта одной страницы.

Если написать:

Clean-param: page

вы фактически сообщите Яндексу, что номер страницы незначим. Для большинства классических каталогов это неверная модель.

Пагинация требует отдельной настройки: доступности ссылок роботу, последовательной структуры URL, корректного canonical и контроля индексирования. Поэтому параметр page должен оцениваться как функциональный параметр, а не как мусорная метка.

Clean-param и Disallow: в чём разница

Эти директивы нельзя считать взаимозаменяемыми.

Disallow запрещает роботу обход URL по шаблону:

User-agent: Yandex
Disallow: /*?sort=

Clean-param говорит не учитывать параметр при обработке URL:

User-agent: Yandex
Clean-param: sort /catalog/

Яндекс прямо указывает, что Clean-param не требует обязательного сочетания с Disallow. Если URL одновременно попадает под Disallow и Clean-param, запрет обхода имеет приоритет.

Практическое правило: если вы хотите только убрать дубли, возникающие из-за незначащего параметра, не добавляйте Disallow «на всякий случай». Сначала решите, нужен ли роботу доступ к странице и какой сигнал вы хотите передать.

Базовую механику файла разберём отдельно в руководстве robots.txt.

Clean-param и noindex

noindex решает другую задачу: запрещает включать конкретную страницу в поисковый индекс.

Пример:

<meta name="robots" content="noindex">

Если задача состоит в том, чтобы один параметризованный URL был самостоятельной страницей, но не участвовал в поиске, noindex может быть уместнее.

Если же десятки URL отличаются только аналитической меткой, создавать для каждого отдельный документ, ждать обхода, а затем отдавать noindex — менее чистая модель, чем корректно описать незначащий параметр для Яндекса.

Подробнее о различиях между обходом и индексированием: Noindex: как закрыть страницу от индексации.

Clean-param и rel="canonical"

canonical указывает предпочтительную версию среди похожих или дублирующихся страниц:

<link rel="canonical" href="https://example.ru/catalog/kresla/">

Для параметризованной страницы это может быть полезным сигналом, но canonical и Clean-param находятся на разных уровнях:

• Clean-param — правило обработки параметров роботом Яндекса;
• canonical — сигнал о предпочтительном URL внутри HTML или HTTP-заголовка;
• Disallow — управление доступом робота;
• noindex — запрет участия страницы в поисковой выдаче.

Не пытайтесь решить одну проблему сразу четырьмя противоречащими способами.

Например, плохая комбинация:

robots.txt → Disallow параметр
HTML       → noindex
canonical  → на основную категорию
Clean-param → тот же параметр

Если робот не может получить HTML из-за Disallow, он не увидит noindex и canonical. Чем больше сигналов вы смешиваете без необходимости, тем сложнее диагностировать результат.

Подробно: как работает rel=canonical.

Настройка GET-параметров в Яндекс Вебмастере

У Яндекса есть ещё один уровень управления — раздел настройки GET-параметров в Вебмастере.

Для параметра можно указать, нужно ли его учитывать при индексировании. Яндекс сообщает:

• если параметр учитывается, URL может индексироваться и участвовать в поиске;
• если параметр не учитывается, такая версия не должна участвовать в поиске;
• настройку можно ограничить разделом сайта;
• изменения применяются не мгновенно, а в течение некоторого времени.

Официальная инструкция: Настройка GET-параметров.

Если Вебмастер и robots.txt противоречат друг другу

Яндекс отдельно предупреждает: если настройка GET-параметров в Вебмастере конфликтует с правилом в robots.txt, робот применяет вариант, который запрещает индексирование URL с этим GET-параметром.

Поэтому после изменения Clean-param обязательно проверьте настройки в Вебмастере. Старое правило, забытое в интерфейсе, может объяснить неожиданное исключение страниц.

Статус «Исключена по Clean-param»

В разделе страниц в поиске Яндекс может показывать причину исключения CLEAN_PARAMS. Это означает, что URL был обработан как вариант, подпадающий под Clean-param.

Если исключён нужный SEO-URL, не пытайтесь «переобходить» его десятки раз. Сначала исправьте правило.

Что делать с GET-параметрами в Google

Clean-param — инструмент, который документирует Яндекс. Не рассчитывайте на него как на универсальную настройку для Googlebot.

Для Google стратегия строится отдельно в зависимости от назначения URL.

Если параметризованные URL не нужны в поиске

Google в документации по фасетной навигации рекомендует в первую очередь контролировать обход ненужных пространств URL. Для фильтров могут применяться правила robots.txt, которые блокируют конкретные параметры или шаблоны.

Пример:

User-agent: Googlebot
Disallow: /*?*sort=

Но такое правило нельзя копировать без проверки структуры URL: оно может заблокировать нужные страницы.

Если страницы являются дублями, но должны оставаться доступными

Используйте согласованную canonical-стратегию. Google рассматривает rel="canonical" как сигнал, а не абсолютную команду, и может выбрать другой канонический URL, если остальные сигналы противоречат вашему выбору.

Если страницу нужно удалить из Google

Можно использовать noindex, но Googlebot должен иметь доступ к URL, чтобы увидеть эту директиву. Одновременный Disallow может помешать роботу прочитать noindex.

Официальные материалы Google:

• Managing crawling of faceted navigation URLs;
• Canonicalization;
• Block Search indexing with noindex.

Почему настройки Яндекса и Google могут отличаться

Российскому интернет-магазину часто нужна параллельная схема:

Яндекс → Clean-param + GET-параметры Вебмастера + общие SEO-сигналы
Google → robots/canonical/noindex + управление фасетной навигацией

Это нормально. Поисковые системы поддерживают не полностью одинаковый набор инструментов.

Как проверить Clean-param после настройки

Не оценивайте результат только по содержимому robots.txt.

1. Проверьте файл

Откройте:

https://ваш-сайт.ru/robots.txt

Он должен:

• отвечать 200 OK;
• содержать актуальное правило;
• не перенаправляться неожиданным образом;
• не содержать конфликтующих старых директив.

2. Проверьте конкретные URL

Составьте список:

основной URL
URL + служебный параметр
URL + полезный фильтр
URL + пагинация
URL + комбинация параметров

Для каждого заранее запишите ожидаемое поведение.

3. Проверьте Яндекс Вебмастер

Смотрите:

• страницы в поиске;
• исключённые страницы;
• статус CLEAN_PARAMS;
• настройку GET-параметров;
• диагностику robots.txt;
• анализ индексирования страницы.

4. Посмотрите серверные логи

На крупном сайте полезно сравнить количество обращений Яндекс-робота к параметризованным URL до и после изменения.

Цель — не «обнулить» весь обход, а постепенно сократить бессмысленные варианты адресов.

Типичные ошибки Clean-param

Ошибка 1. Очистить все параметры сразу

Clean-param: brand&color&size&sort&page&utm_source

Такое правило может объединить и рекламный мусор, и полезные SEO-страницы, и пагинацию.

Ошибка 2. Добавить параметр фильтра, который должен ранжироваться

Если запрос «красные женские кроссовки» закрывается отдельной страницей фильтра, а color очищается, вы создаёте конфликт между SEO-стратегией и настройкой робота.

Ошибка 3. Считать Clean-param заменой canonical

Это разные инструменты. На полезных индексируемых посадочных по-прежнему нужна последовательная canonical-логика.

Ошибка 4. Одновременно закрыть URL через Disallow и ждать обработки HTML-сигналов

Робот не сможет увидеть noindex или canonical, если ему запрещён доступ к странице.

Ошибка 5. Игнорировать Яндекс Вебмастер

Правило в robots.txt может быть корректным, но старая настройка GET-параметров в Вебмастере продолжит влиять на индексирование.

Ошибка 6. Не проверить фактическое содержание URL

Два адреса могут выглядеть похожими, но отдавать разные товары, цены, регион, язык или наличие. Решение принимается по функции страницы, а не по имени параметра.

Практические сценарии

Интернет-магазин: рекламные метки

/catalog/tv/?utm_source=yandex
/catalog/tv/?utm_source=telegram

Контент одинаковый.

Решение для Яндекса: проверить автоматическую обработку UTM и при необходимости настроить незначащий параметр.

Интернет-магазин: сортировка

/catalog/tv/?sort=price_asc
/catalog/tv/?sort=rating

Набор товаров тот же, меняется порядок.

Решение: чаще это не самостоятельные SEO-посадочные. Но конкретную реализацию надо проверить для Яндекса и Google отдельно, а не просто добавить один глобальный Clean-param.

Интернет-магазин: бренд

/catalog/tv/?brand=sony

Если есть поисковый спрос, ассортимент и уникальная страница «Телевизоры Sony», URL может быть полезной посадочной.

Решение: не очищать brand только потому, что это GET-параметр. Сначала определить SEO-ценность страницы.

Сайт услуг: номер рекламной кампании

/services/seo/?campaign_id=234

Если параметр нужен только аналитике и не меняет предложение, это типичный кандидат на обработку как незначащего параметра.

Чек-лист настройки Clean-param

Перед публикацией правила проверьте:

• выписаны все реальные GET-параметры сайта;
• для каждого понятно, меняет ли он основной контент;
• SEO-фильтры отделены от служебных меток;
• пагинация не объявлена незначащей автоматически;
• для правила выбран минимально необходимый scope/path;
• проверен robots.txt;
• проверены настройки GET-параметров в Яндекс Вебмастере;
• нет конфликта с Disallow;
• понятна роль canonical и noindex;
• отдельно определена стратегия для Google;
• после внедрения проверяются логи и статусы индексирования.

FAQ

Clean-param работает только в Яндексе?

Это директива, которую официально документирует Яндекс. Для управления Googlebot не следует полагаться на неё: используйте механизмы, описанные Google для обхода параметризованных и фасетных URL.

Нужно ли добавлять UTM в Clean-param?

Не всегда. Яндекс сообщает, что ряд стандартных аналитических параметров может удаляться алгоритмами автоматически. Сначала проверьте Вебмастер и фактические URL.

Можно ли написать Clean-param для page?

Для обычной пагинации это обычно неверно, потому что page=2, page=3 показывают другой набор элементов. Не объявляйте параметр незначащим без анализа.

Что лучше: Clean-param или Disallow?

Зависит от задачи. Для незначащих параметров и дублей Яндекс рекомендует Clean-param; для запрета обхода раздела или URL используется Disallow.

Нужен ли canonical вместе с Clean-param?

Это не обязательная связка. Canonical решает задачу выбора предпочтительного URL, а Clean-param — задачу обработки незначащего параметра Яндексом. Используйте каждый сигнал только там, где он нужен.

Как быстро изменения попадут в Яндекс?

Мгновенного эффекта ждать не стоит. Роботу необходимо повторно обработать URL и настройки. Изменения GET-параметров в Яндекс Вебмастере, по документации сервиса, вступают в силу в течение недели.

Вывод

Clean-param — полезный инструмент именно тогда, когда сайт создаёт несколько адресов одного документа из-за незначащих GET-параметров. Он особенно актуален для UTM, партнёрских меток, session ID и других технических значений, которые не формируют новую страницу.

Главная ошибка — воспринимать любой параметр как мусор. Фильтры, региональные версии и пагинация могут менять содержание и закрывать самостоятельный спрос. Для них нужна отдельная SEO-стратегия.

Для российского проекта настройку параметров следует проверять сразу в двух контурах: в Яндекс Вебмастере и по правилам Google. Если на сайте уже накопились тысячи параметризованных URL, дублей и исключённых страниц, это стоит разбирать в рамках технического SEO-аудита или технической оптимизации сайта, а не исправлять одной строкой в robots.txt.

Связанные материалы: robots.txt · Noindex · Canonical · Crawl Budget · SEO фильтров интернет-магазина