Если вы Noindex категории и архивных страниц?

  1. Robots.txt Блокировка
  2. Meta Robots NoIndex Tag
  3. 404 и мягкие 404
  4. Стоит ли использовать Noindex на страницах категорий?
  5. Чего не делать
  6. Резюме

Примечание редактора: «Спросите SEO» - это еженедельная колонка технического эксперта по SEO Дженни Халаш . Придумайте свой самый сложный вопрос SEO и заполните нашу форму , Вы можете увидеть свой ответ в следующем посте #AskanSEO!

Today's Ask Задайте вопрос SEO от Ашока С. Он спрашивает:

Я работаю на сайте WordPress. Следует ли использовать тег noindex на страницах категорий и архивов, чтобы избежать риска дублирования содержимого? Повлияет ли это на мой общий трафик?

Это отличный вопрос, спасибо. Для каждого специалиста SEO важно понимать как работает Google ,

Итак, для начала ответ, вероятно, нет. Большинству веб-сайтов не нужно беспокоиться о том, что Google сканирует некоторые страницы, в которых они не имеют никакого значения.

Страницы, такие как страницы тегов, страницы категорий и результаты поиска, которые включены «из коробки» в популярные CMS, такие как Drupal и WordPress, обычно недостаточно распространены, чтобы иметь значение. Если Google видит в них ценность, они сканируют их и индексируют. Если они этого не сделают, они не будут.

Если у вас большой сайт электронной коммерции с сотнями тысяч продуктов, это может стать более серьезной проблемой, поскольку вы хотите сосредоточить сканеры Google на важных страницах и удалить вещи, которые не имеют никакой ценности.

Чтобы полностью ответить на этот вопрос, вы также должны понимать разницу между блокировкой robots.txt и тегом meta noindex, а также то, как работают 404 и программные 404.

Robots.txt Блокировка

Если вы поместите команду в robots.txt, чтобы заблокировать доступ Google (и других сканеров) к страницам, вы фактически запретите им доступ к этим страницам.

Если Google обнаружит страницу, заблокированную в файле robots.txt, они не будут выполнять команду «Получить» или GET для доступа к заголовку страницы. Это означает, что если позже вы решите, что хотите, чтобы эта страница не была проиндексирована, или вы хотели предоставить другой статус (например, перенаправление или 404), Google не сможет увидеть это изменение.

Команды Robots.txt должны быть ограничены страницами, которые, как вы знаете, Google не увидит иначе (т. Е. Люди не будут ссылаться на них, вы не будете ссылаться на них на своем сайте, и они, вероятно, защищены паролем).

Функции администратора, входа в систему или корзины - хороший пример страниц, которые вы можете заблокировать в robots.txt. Вы никогда не должны блокировать файлы JavaScript или CSS, которые необходимы для правильной визуализации страниц.

Meta Robots NoIndex Tag

Тэг meta robots = ”noindex” отличается от тега robots.txt, и многие специалисты по SEO относятся к нему одинаково. Самые большие различия с тегом noindex:

  • Хотя это и директива robots, она менее ограничена, чем robots.txt. Google и другие поисковые системы могут получить страницу, заголовки и все.
  • Это именно то, что звучит. Он предписывает Google не индексировать, то есть не добавлять страницу как подходящую для результатов поиска. Google по-прежнему будет собирать все данные на странице и переходить по всем ссылкам, если только вы не используете nofollow. Nofollow не является официальной директивой, но Google и другие поисковые системы уважают ее.
  • Если вы используете тег noindex, а затем решите обслуживать перенаправление на стороне сервера или вместо 404, Google сможет получить доступ к этому изменению статуса и соответствующим образом обновить свои данные.

404 и мягкие 404

404 страницы состояния ошибки указывают, что страница не найдена, и являются веб-стандартом, который уважают все сканеры. Если Google встречает страницу с ошибкой 404, они удаляют ее из индекса, но сохраняют ее в своем планировщике сканирования, чтобы периодически перепроверять… просто чтобы убедиться, что она не изменилась.

Мягкая ошибка 404 - это неофициальное обозначение, которое Google размещает на страницах, которые могут разрешаться со статусом 200 (Найдено), но которые не предоставляют никакого контента. Внутренние страницы результатов поиска, которые имеют нулевые результаты, являются одним из примеров этого. Если Google определяет страницу как мягкую ошибку 404, они обрабатывают ее так же, как и ошибку 404. Как и в случае ошибки 404, они будут периодически проверять ее, чтобы убедиться, что она не меняется.

Стоит ли использовать Noindex на страницах категорий?

Что возвращает нас к нашему вопросу - является ли noindex правильной стратегией для страниц категорий, которые мало или не добавляют ценности вашему веб-сайту?

Ответ заключается в том, что если вы чувствуете, что страницы не добавляют никакой ценности, вам, вероятно, следует полностью удалить их и предоставить статус ошибки 404. Если страницы важны для навигации пользователей и являются «необходимым злом» наличия блога, то они не должны быть проиндексированы.

Если вы индексируете страницы, Google заявил, что в конечном итоге они будут обрабатывать эти страницы как мягкие 404. Это означает, что никакие ссылки, указывающие на эти страницы, не будут учитываться при определении рейтинга.

Почему это важно? В конечном счете это, вероятно, не.

Если ссылки указывают на страницы, которые, по вашему мнению, не имеют никакого значения, то поисковые системы и пользователи, вероятно, также не найдут в них никакого значения.

Чего не делать

Не канонизируйте все страницы категорий и тегов для корневой страницы блога. Это неправильное использование для канонического. Google будет игнорировать это.

Не помещайте эти страницы в robots.txt. Если вы заблокируете их, Google не сможет увидеть, когда вы обновите или измените их, но они останутся в результатах поиска с этим ужасным списком:

Примечание редактора: «Спросите SEO» - это еженедельная колонка технического эксперта по SEO Дженни Халаш

Резюме

Убедитесь, что вы и ваша команда разработчиков знаете разницу между командами robots.txt и meta robots noindex. Используйте их надлежащим образом, и вы будете на шаг впереди игры.

Если у вас есть страницы, которые не представляют никакой ценности для поисковиков в качестве целевой страницы, но они необходимы для навигации, либо переосмыслите свою стратегию навигации (возможно, подойдет более информативная страница категории с некоторым уникальным содержанием?) Или noindex страницы ,

Если у вас есть только несколько этих страниц или вы не думаете, что они имеют большое значение на вашем сайте, просто оставьте их как есть. Google достаточно умен, чтобы понять это.

У вас есть вопрос о SEO для Дженни? Заполните эту форму или используйте #AskAnSEO в социальных сетях.

Кредиты изображений

Главное изображение: Изображение Пауло Бобита
Снимок сделан автором, май 2018

Следует ли использовать тег noindex на страницах категорий и архивов, чтобы избежать риска дублирования содержимого?
Повлияет ли это на мой общий трафик?
Стоит ли использовать Noindex на страницах категорий?
Что возвращает нас к нашему вопросу - является ли noindex правильной стратегией для страниц категорий, которые мало или не добавляют ценности вашему веб-сайту?
Почему это важно?
Возможно, подойдет более информативная страница категории с некоторым уникальным содержанием?
У вас есть вопрос о SEO для Дженни?
О том, как смешивать свежевыжатые соки
Ни для кого не секрет, что стакан свежевыжатого овощного или фруктового сока, способен придать заряд энергии и бодрости, а также положительным образом отразиться на состоянии здоровья человека. При этом

Полный список кандидатов в президенты страны станет известен к концу января
9 января 2008, 15:53 Текст: editor На будущей неделе закончится срок приема документов для регистрации кандидатов в президенты. На принятие решения по документам у Центризбиркома будет десять дней. НОРИЛЬСК.

ЄДНІСТЬ : У Києві через високий рівень захворюваності на грип та ГРВІ закрили вже 75 шкіл
У Києві призупинено заняття у 75 школах (2127 класів), у яких рівень захворюваності на грип та ГРВІ перевищив 20%. Інформує  «Є!» , з посиланням на УНІАН. Про це наразі повідомив перший заступник

Список полезных заготовок из овощей и фруктов на зиму
Список полезных заготовок из овощей и фруктов на зиму Август и сентябрь — традиционно хлопотное время для многих хозяек, садоводов и дачников-любителей. В первую очередь необходимо собрать урожай или

Березовый сок можно ли использовать при сахарном диабете
Березовый сок при сахарном диабете — сахарный диабет: все о заболевании и методах лечения Березовый сок с давних времен славится своими целебными свойствами. Дело в том, что в весенний период береза

Свежевыжатые соки. (кому не лень читать)
Вы видели фильм о , которую исследовал японский ученый Имоту Масара? Уникальные опыты показали, что структурированная жидкость может творить чудеса и оздоравливать наши клетки, омолаживая организм

Купажирование и подслащивание соков
Некоторые соки иногда бывают пресными, слишком кислыми или недостаточно сладкими. Чтобы такие соки были полноценными по вкусовым и питательным качествам, к ним добавляют соки из того же вида сырья, но

Лечение рака по Бройсу и др
Лечение Рака по Бройсу. (Рудольф Бройс) «Совсем недавно китайские медики обнаружили, что у онкобольных количество микроэлементов в печени, в волосах и некоторых других органах резко снижено. Возможно,

С каким соком пить водку?
Ответ: С каким соком пить водку? ВИНОВАТ АНТИАЛКОГОЛЬНЫЙ ФЕРМЕНТ - Владимир Георгиевич, главный вопрос

Сок добрый
Министерство общего и профессионального образования Российской Федерации Санкт-Петербургский Государственный Технологический институт (Технический университет) Факультет Экономики и