- Robots.txt Блокировка
- Meta Robots NoIndex Tag
- 404 и мягкие 404
- Стоит ли использовать Noindex на страницах категорий?
- Чего не делать
- Резюме
Примечание редактора: «Спросите SEO» - это еженедельная колонка технического эксперта по SEO Дженни Халаш . Придумайте свой самый сложный вопрос SEO и заполните нашу форму , Вы можете увидеть свой ответ в следующем посте #AskanSEO!
Today's Ask Задайте вопрос SEO от Ашока С. Он спрашивает:
Я работаю на сайте WordPress. Следует ли использовать тег noindex на страницах категорий и архивов, чтобы избежать риска дублирования содержимого? Повлияет ли это на мой общий трафик?
Это отличный вопрос, спасибо. Для каждого специалиста SEO важно понимать как работает Google ,
Итак, для начала ответ, вероятно, нет. Большинству веб-сайтов не нужно беспокоиться о том, что Google сканирует некоторые страницы, в которых они не имеют никакого значения.
Страницы, такие как страницы тегов, страницы категорий и результаты поиска, которые включены «из коробки» в популярные CMS, такие как Drupal и WordPress, обычно недостаточно распространены, чтобы иметь значение. Если Google видит в них ценность, они сканируют их и индексируют. Если они этого не сделают, они не будут.
Если у вас большой сайт электронной коммерции с сотнями тысяч продуктов, это может стать более серьезной проблемой, поскольку вы хотите сосредоточить сканеры Google на важных страницах и удалить вещи, которые не имеют никакой ценности.
Чтобы полностью ответить на этот вопрос, вы также должны понимать разницу между блокировкой robots.txt и тегом meta noindex, а также то, как работают 404 и программные 404.
Robots.txt Блокировка
Если вы поместите команду в robots.txt, чтобы заблокировать доступ Google (и других сканеров) к страницам, вы фактически запретите им доступ к этим страницам.
Если Google обнаружит страницу, заблокированную в файле robots.txt, они не будут выполнять команду «Получить» или GET для доступа к заголовку страницы. Это означает, что если позже вы решите, что хотите, чтобы эта страница не была проиндексирована, или вы хотели предоставить другой статус (например, перенаправление или 404), Google не сможет увидеть это изменение.
Команды Robots.txt должны быть ограничены страницами, которые, как вы знаете, Google не увидит иначе (т. Е. Люди не будут ссылаться на них, вы не будете ссылаться на них на своем сайте, и они, вероятно, защищены паролем).
Функции администратора, входа в систему или корзины - хороший пример страниц, которые вы можете заблокировать в robots.txt. Вы никогда не должны блокировать файлы JavaScript или CSS, которые необходимы для правильной визуализации страниц.
Meta Robots NoIndex Tag
Тэг meta robots = ”noindex” отличается от тега robots.txt, и многие специалисты по SEO относятся к нему одинаково. Самые большие различия с тегом noindex:
- Хотя это и директива robots, она менее ограничена, чем robots.txt. Google и другие поисковые системы могут получить страницу, заголовки и все.
- Это именно то, что звучит. Он предписывает Google не индексировать, то есть не добавлять страницу как подходящую для результатов поиска. Google по-прежнему будет собирать все данные на странице и переходить по всем ссылкам, если только вы не используете nofollow. Nofollow не является официальной директивой, но Google и другие поисковые системы уважают ее.
- Если вы используете тег noindex, а затем решите обслуживать перенаправление на стороне сервера или вместо 404, Google сможет получить доступ к этому изменению статуса и соответствующим образом обновить свои данные.
404 и мягкие 404
404 страницы состояния ошибки указывают, что страница не найдена, и являются веб-стандартом, который уважают все сканеры. Если Google встречает страницу с ошибкой 404, они удаляют ее из индекса, но сохраняют ее в своем планировщике сканирования, чтобы периодически перепроверять… просто чтобы убедиться, что она не изменилась.
Мягкая ошибка 404 - это неофициальное обозначение, которое Google размещает на страницах, которые могут разрешаться со статусом 200 (Найдено), но которые не предоставляют никакого контента. Внутренние страницы результатов поиска, которые имеют нулевые результаты, являются одним из примеров этого. Если Google определяет страницу как мягкую ошибку 404, они обрабатывают ее так же, как и ошибку 404. Как и в случае ошибки 404, они будут периодически проверять ее, чтобы убедиться, что она не меняется.
Стоит ли использовать Noindex на страницах категорий?
Что возвращает нас к нашему вопросу - является ли noindex правильной стратегией для страниц категорий, которые мало или не добавляют ценности вашему веб-сайту?
Ответ заключается в том, что если вы чувствуете, что страницы не добавляют никакой ценности, вам, вероятно, следует полностью удалить их и предоставить статус ошибки 404. Если страницы важны для навигации пользователей и являются «необходимым злом» наличия блога, то они не должны быть проиндексированы.
Если вы индексируете страницы, Google заявил, что в конечном итоге они будут обрабатывать эти страницы как мягкие 404. Это означает, что никакие ссылки, указывающие на эти страницы, не будут учитываться при определении рейтинга.
Почему это важно? В конечном счете это, вероятно, не.
Если ссылки указывают на страницы, которые, по вашему мнению, не имеют никакого значения, то поисковые системы и пользователи, вероятно, также не найдут в них никакого значения.
Чего не делать
Не канонизируйте все страницы категорий и тегов для корневой страницы блога. Это неправильное использование для канонического. Google будет игнорировать это.
Не помещайте эти страницы в robots.txt. Если вы заблокируете их, Google не сможет увидеть, когда вы обновите или измените их, но они останутся в результатах поиска с этим ужасным списком:
Резюме
Убедитесь, что вы и ваша команда разработчиков знаете разницу между командами robots.txt и meta robots noindex. Используйте их надлежащим образом, и вы будете на шаг впереди игры.
Если у вас есть страницы, которые не представляют никакой ценности для поисковиков в качестве целевой страницы, но они необходимы для навигации, либо переосмыслите свою стратегию навигации (возможно, подойдет более информативная страница категории с некоторым уникальным содержанием?) Или noindex страницы ,
Если у вас есть только несколько этих страниц или вы не думаете, что они имеют большое значение на вашем сайте, просто оставьте их как есть. Google достаточно умен, чтобы понять это.
У вас есть вопрос о SEO для Дженни? Заполните эту форму или используйте #AskAnSEO в социальных сетях.
Кредиты изображений
Главное изображение: Изображение Пауло Бобита
Снимок сделан автором, май 2018
Похожие
Google рекомендует не использовать файл Robots.txt, если вы хотите полную индексациюХотите верьте, хотите нет, я не большой поклонник размещения файлов robots.txt на сайтах, если вы не хотите специально блокировать контент и разделы от Google или других поисковых систем. Просто всегда было излишне говорить Сколько стоит SEO
SEO или поисковая оптимизация - это стратегическое маркетинговое предприятие, направленное на то, чтобы привлечь больше трафика на ваш сайт, поместив ваш сайт в верхней части страницы результатов поисковой системы или поисковой выдачи. Таким образом, острый вопрос, как и во всем маркетинге, сколько стоит SEO? Это сложный вопрос, потому что он может быть довольно переменным. Это во многом зависит от типа вашего веб-сайта, если Как правильно настроить файл Robots.txt и улучшить SEO
... наем, для нашего веб-сайта жизненно важно иметь определенную видимость в Интернете естественным образом. Это связано со многими факторами, и одним из них является правильная настройка файла Robots.txt. Как мы увидим, это способ увеличить ваш SEO, о котором мало кто упоминает, и реализовать его не очень сложно. Содержание этой статьи Что такое файл Robots.txt? Прежде чем научиться настраивать этот файл, мы должны знать, что это такое. Файл robots.txt (также называемый Дешевого SEO не существует
... ие дня в мире генерируется огромное количество информации о SEO. В моем случае я трачу больше часа каждый день на просмотр этой новой информации, пытаясь найти действительно интересные и актуальные данные, чтобы иметь возможность доказать свою эффективность на наших контрольных веб-сайтах. Если результат будет положительным, мы начнем включать их в SEO консультации, которые мы делаем нашим клиентам на постоянной и интенсивной основе. Настройте файл robots.txt для WordPress: Руководство
... robots.txt, если имеете дело с WordPress, но что именно это? Давайте начнем с технического описания, предлагаемого Википедией: «Протокол исключения роботов указывает на жаргоне Интернета и, в более общем смысле, Интернета, правила, используемые сканерами для применения ограничений анализа на страницах веб-сайта. Они содержатся в файле robots.txt , созданном в июне 1994 года с согласия членов списка рассылки роботов. На данный момент нет реального Не используйте WordPress MultiSite
Изменить: это май 2015 года, и этот пост по- прежнему актуален. Я говорил об этом на WordCamp SF 2013. Проверьте мой слайды или смотреть видео , Я люблю MultiSite. Что такое файл Robots.txt и как его создать в WordPress и PrestaShop?
Вы много раз слышали о файле robots.txt, но до сих пор точно не знаете, что это такое и для чего он используется в веб-проекте? Часто в мире цифрового маркетинга и SEO люди говорят о как получить обратные ссылки как улучшить CTR, как лучше управлять социальными платформами и т. д. Тем не менее, и хотя эти аспекты очень важны в рамках маркетингового плана, бывают моменты, когда упускаются из виду другие фундаментальные Есть ли точный процент ключевых слов, которые вы должны использовать для SEO?
... начал приносить прибыль еще в конце 1990-х годов. Вначале огромное количество раз, когда ключевое слово появлялось на странице, определяло, где оно показывалось в поисковой выдаче. По мере развития поисковых систем, количество ключевых слов, которые помогли, стало немного менее важным. Другие факторы были добавлены в уравнение результатов поисковых систем. Сегодня существует более 200 отдельных показателей, которые используются Google для определения рейтинга веб-страницы в поисковой выдаче. Ключи к SEO
... и вы основные факторы веб-позиционирования? Какие ключи к SEO? Один из главных источников проблем, который беспокоит работодателя, - это знать, сколько людей знает вашу компанию. В мире онлайн это трансформируется в ваш сайт генерирует трафик, и это достигается с помощью SEO позиционирования . Важно, чтобы компания была в числе первых результатов поиска основных поисковых систем, чтобы 30 бесплатных инструментов SEO, которые вы можете использовать для поиска ссылок
Поиск ссылок является одной из важнейших и первых инициатив в процессе приобретения ссылок. Любая тактика создания ссылок всегда начинается с поиска ссылок в определенном веб-месте с использованием бесплатных инструментов SEO и сортировки этих ссылок в электронной таблице на основе стандартов ссылок бренда. Кроме того, ручная и тщательная оценка целевых ссылок, если они подходят для вашего сайта / страницы, сильно повлияет на ваш Останови это. Вы не ищете SEO копирайтер.
Вы ищете "SEO копирайтер"? Тогда остановись. Это неправильный поиск. Вам нужен копирайтер, который хорош в SEO - логично, потому что поисковая оптимизация важна. Но вы порежете себе пальцы, если будете искать только эту конкретную услугу. Вы не можете писать тексты онлайн без SEO. За этим поиском
Комментарии
SEO не секрет, это требует напряженной работы и самоотверженности, которая является причиной, почему вы не сделаете это самостоятельно и посмотреть на работу других делать это за вас, не так ли?SEO не секрет, это требует напряженной работы и самоотверженности, которая является причиной, почему вы не сделаете это самостоятельно и посмотреть на работу других делать это за вас, не так ли? Ваша SEO компания должна объяснить вам: - Как они планируют улучшить ваш рейтинг - Какие корректировки они внесут в ваш сайт - Как они планируют настроить вашу онлайн маркетинговую кампанию для достижения лучших результатов Если вы все еще не знаете цену качественных услуг SEO, подумайте об этом следующим образом: когда вы покупаете дом для себя и своей семьи, сколько это стоит?
Если вы все еще не знаете цену качественных услуг SEO, подумайте об этом следующим образом: когда вы покупаете дом для себя и своей семьи, сколько это стоит? Это зависит, верно? Даже если вы покупаете дом или квартиру для себя, вы хотите что-то, что будет полностью удовлетворяющим и высочайшего качества, которое вы можете себе позволить. Речь идет не о гранитных столешницах или причудливых приспособлениях, а о прочных и прочных строительных материалах, которые выдержат экстремальные температуры Но мы живем в очень конкурентном мире, и если вы не можете сосать сахарный тростник и свистеть одновременно, это не на рынке, не так ли?
Но мы живем в очень конкурентном мире, и если вы не можете сосать сахарный тростник и свистеть одновременно, это не на рынке, не так ли? Это также пришло в мир SEO, и профессионалы начали приспосабливаться к новым тенденциям. Они начали согласовывать стратегии: контент-маркетинга, входящего маркетинга, маркетинга, копирайтинга и т. Д. Давайте рассмотрим некоторые стратегии, обычно применяемые SEO-консультантами, которые НЕ являются основными навыками специалистов Можете ли вы представить, насколько невероятно мощным было бы, если бы вы могли использовать одну обратную ссылку и получить больше SEO-сока, чем 10000 профилей / ссылок в блоге вместе взятых?
Можете ли вы представить, насколько невероятно мощным было бы, если бы вы могли использовать одну обратную ссылку и получить больше SEO-сока, чем 10000 профилей / ссылок в блоге вместе взятых? Wiki Whisperer - это мощное программное обеспечение, которое находит домены с истекшим сроком действия, которые Google считает авторитетными, а затем использует одну (1) специальную обратную ссылку для ранжирования любого сайта или видео практически за одну ночь! Wiki Whisperer - это новая специальная Что вы собираетесь делать, если готовы к двум вариантам, но не знаете, какой использовать?
Что вы собираетесь делать, если готовы к двум вариантам, но не знаете, какой использовать? Назовем эти два варианта A и B соответственно. Чтобы найти лучший вариант среди двух, A / B-тестирование является наиболее надежным выходом из положения. В этом процессе два варианта (A и B) сделаны, чтобы пройти серию экспериментов. И конечные пользователи определяют эффективность вариантов, основываясь на степени конверсии каждого продукта. В мире Интернета также есть доля A / Что делать, если вы не инвестируете в SEO?
Что делать, если вы не инвестируете в SEO? Если вы не инвестируете в SEO, ожидайте меньше поисковых запросов, клиентов и пользователей. Это одна из техник маркетинга, которая может вам помочь. Что происходит, когда ваши последователи оставляют вас позади? Если ваши последователи оставляют вас позади, сосредоточьтесь на тех, кто предан вам. Занимаясь собственным бизнесом, вы будете на правильном пути как в SEO, так и в жизни! Если вы видите, что эффект SEO Если бы вы собирались создать пост, спонсируемый Facebook, не было бы замечательно, если бы вы уже знали, кто позитивно реагирует на контент через другие маркетинговые каналы?
Если бы вы собирались создать пост, спонсируемый Facebook, не было бы замечательно, если бы вы уже знали, кто позитивно реагирует на контент через другие маркетинговые каналы? Есть много отличных способов сделать ремаркетинг и ретаргетинг. С помощью отчетов Аудитория> Демография и интересы вы можете точно настроить другие ваши маркетинговые усилия. 8. Стоимость страницы Технически также не является отчетом, это точка данных, которая, к сожалению, широко не Задумывались ли вы, сколько денег вы можете заработать, если вы занимаетесь веб-сайт в первой позиции Google?
Задумывались ли вы, сколько денег вы можете заработать, если вы занимаетесь веб-сайт в первой позиции Google? Как вы вообще рассчитываете это? Ну, это то, что мы изучаем сегодня. Я всегда говорю, что хочу, чтобы мои посты были короткими, и они заканчиваются длиной в 2000 слов. На этот раз все будет точно, потому что я хочу, чтобы все было просто и понятно. Итак, какова разница в доходах между тем, что занимает 1-е место по сравнению с 2-м или 3-м, или, возможно, на 10-й позиции Возьмите смартфон в карман - вы, наверное, не используете каждое приложение каждый день, не так ли?
Возьмите смартфон в карман - вы, наверное, не используете каждое приложение каждый день, не так ли? Но они все еще полезны, когда они вам нужны! Это ваш бизнес на линии, поэтому примите каждое решение и не торопитесь, чтобы протестировать бесплатные пробные периоды на сайтах разработчиков недвижимости. Узнайте, какие конструктивные особенности они предлагают, опробуйте их, а затем решите, подходят ли они вам. 5. Генерация новых клиентов Что вы действительно хотите как владелец ресторана, так это не туристы, которых вы больше никогда не увидите, а счастливые постоянные клиенты, верно?
Что вы действительно хотите как владелец ресторана, так это не туристы, которых вы больше никогда не увидите, а счастливые постоянные клиенты, верно? Люди, которые любят возвращаться. Они могут даже привести других и рассказать своим друзьям о моем ресторане. Вот почему я убежден, что вы можете забыть все отличные советы по SEO. Мой первый совет будет: « Танцуй, пиши, как никто не смотрит » (Я думаю, что совет Что вы делаете, если вы не знаете, как их сайт попадет в топ поисковых систем, или у вас просто нет времени, чтобы обновлять их социальные сети?
Что вы делаете, если вы не знаете, как их сайт попадет в топ поисковых систем, или у вас просто нет времени, чтобы обновлять их социальные сети? Вот где мы вступаем ... Вы можете быть удивительным дизайнером веб-сайта, но вы не можете заключить эту сделку, потому что ваши клиенты нуждаются в ее поиске в поисковых системах. Или, может быть, у вас есть набор навыков, чтобы предложить все это, но наличие ценных членов вашей команды, создающих контент для социальных сетей, кажется не таким
Следует ли использовать тег noindex на страницах категорий и архивов, чтобы избежать риска дублирования содержимого?
Повлияет ли это на мой общий трафик?
Стоит ли использовать Noindex на страницах категорий?
Что возвращает нас к нашему вопросу - является ли noindex правильной стратегией для страниц категорий, которые мало или не добавляют ценности вашему веб-сайту?
Почему это важно?
Возможно, подойдет более информативная страница категории с некоторым уникальным содержанием?
У вас есть вопрос о SEO для Дженни?
Таким образом, острый вопрос, как и во всем маркетинге, сколько стоит SEO?
Txt?
Txt, если имеете дело с WordPress, но что именно это?