Дублированный контент: предотвращение и решение проблем

1. Что такое дублированный контент?
2. Примеры дублированного контента
3. Тот же домен
4. Разные домены
5. Последствия дублирования контента
6. Google игнорирует дублированный контент
7. Потеря ссылочного сока и рейтинга
8. Меньше времени сканирования вашего сайта
9. Меньше страниц проиндексировано
10. Штраф за весь сайт
11. Всегда ли дублированный контент плох?
12. Как вы отслеживаете дублированный контент?
13. Инструменты Google для веб-мастеров
14. Google
15. Copyscape
16. Решения для дублированного контента
17. 1. Удалить дублированный контент: 404
18. 2. Переадресация 301
19. 3. Перенаправить с http на www
20. 4. Каноническая метка
21. 5. Опент и мета роботы
22. 6. Удалите URL в Инструментах Google для веб-мастеров.
23. 7. Блокируйте параметры URL в Инструментах Google для веб-мастеров.
24. 8. Снасти плагиат
25. Написать уникальный и ценный контент
26. Умная работа с оптимизацией на странице
27. Убедитесь, что ваши внутренние ссылки в порядке
28. Советы для партнерских сайтов
29. Предложить контент на другие сайты
30. Видео о дублированном контенте
31. Две страницы с почти одинаковыми ключевыми словами?
32. Предложение версии для печати является (или может быть) дублирующимся контентом
33. Вывод: не волнуйся!

Что такое дублированный контент? Если на вашем веб-сайте есть несколько страниц с одинаковым контентом (или когда другой веб-сайт скопировал информацию с вашего сайта), мы говорим о дублированном контенте. Голландский перевод - дублированный контент. Дублированный контент очень неблагоприятен для поисковой оптимизации, потому что ваши страницы в результате получают меньшую ценность. Для Google имеет значение только одна из двух «одинаковых» страниц. Google может измерить это различными способами.

Дублированный контент и SEO: это никогда не было счастливым сочетанием. Однако после обновления Google Panda в 2011 году и обновлений Penguin в 2012 и 2013 годах эффект дублированного контента возрос.

Если раньше это в основном влияло на рейтинг страниц с дублированным контентом, то после Panda / Penguin рейтинг вашего сайта мог быть скомпрометирован.

Хорошее время, чтобы присмотреться к дублирующемуся контенту.

Что такое дублированный контент?

Содержимое дублируется, когда две или более страниц имеют одинаковое или почти одинаковое содержимое.

К сожалению, поисковые системы не публикуют точные проценты, но, по оценкам, страницы, равные более чем на 70%, считаются дублирующимся контентом.

Кроме того, учитывается только текст страницы: кодирование не имеет значения.

Поэтому, если у вас есть два веб-сайта с одинаковым дизайном (один и тот же шаблон, структура меню и т. Д.), Но с разным текстом, вам не о чем беспокоиться.

Когда дело доходит до дублирования контента, вы также должны помнить, что «страница» - это не просто файл или документ, который находится на веб-сервере.

Поисковая система рассматривает каждый уникальный URL как отдельную страницу.

Если два разных URL-адреса относятся к одному и тому же контенту (что может быстро произойти на веб-сайте), то робот Googlebot видит их как две отдельные страницы с дублированным контентом.

Примеры дублированного контента

Дублированный контент может появляться в одном и том же домене или в двух (или более) доменах.

Тот же домен

Дублированный контент является распространенной проблемой на веб-сайтах. Во-первых, домен "" если вы не предпринимаете никаких действий против этого "" всегда доступен через два разных URL-адреса: версия http и www.

Для сайтов с безопасной средой добавляется третье: https. Робот Googlebot видит все те URL, которые ссылаются на тот же контент, что и отдельные страницы, что приводит к дублированию контента.

Другими распространенными проблемами (особенно с динамическими веб-сайтами на основе CMS, такими как WordPress или Joomla) являются множественные URL-адреса для домашней страницы и PDF или печатные версии страницы с отдельным URL-адресом.

Например, на сайте дублированный контент на практике может выглядеть так:

• http://mijnsite.nl
• www.mijnsite.nl
• http://mijnsite.nl/index.html
• www.mijnsite.nl/artikel
• www.mijnsite.nl/artikel.pdf
• www.mijnsite.nl/print/artikel

Разные домены

Дублированный контент в разных доменах может возникнуть, например, когда автор предлагает свою статью нескольким сайтам.

Иногда статьи также размещаются на других сайтах без разрешения автора, что приводит к нарушению авторских прав.

Другой случай дублирования контента на разных доменах, который часто возникает, когда партнерские сайты автоматически принимают все описания продуктов у поставщика один на один.

Последствия дублирования контента

Прежде чем мы перейдем к тому, как вы обнаружите дублирующийся контент и что вы можете с этим сделать, давайте сначала рассмотрим самый насущный вопрос: каковы последствия и насколько плохо дублирующийся контент?

Google игнорирует дублированный контент

Google всегда хочет предоставить пользователям наиболее релевантные результаты поиска. Пользователь, очевидно, не ожидает появления одного и того же контента в результатах поиска несколько раз.

Поэтому, если Google обнаружит дублированный контент, в результаты поиска будет включена только одна страница. В результатах поиска вы увидите следующее сообщение:

Что касается дублированного контента, который находится на вашем собственном домене, это само по себе не так уж плохо. Пока Google выбирает предпочитаемый вами URL для отображения, конечно.

К сожалению, это не всегда так.

Дублированный контент в двух разных доменах может иногда вызывать проблемы. Иногда Google не удается определить, что представляет собой оригинальная статья, поэтому сайт оригинального автора ловит рыбу в сети, и в результатах поиска появляется только сайт, скопировавший статью.

Если Google прав и показывает оригинал, сайт, который берет на себя эту статью, не получает выгоды от SEO. Если эквайринг-сайт просто хочет предложить ценный контент своим пользователям, это не проблема. Однако, если сайт-получатель ничего не делает, кроме как публикует контент, который уже есть на других сайтах, последствия (как мы увидим ниже) являются раздражающими.

Потеря ссылочного сока и рейтинга

Ценность течет через ссылки на связанную страницу. Это значение называется linkjuice, и чем больше значение получает страница, тем выше ее рейтинг в Google.

Теперь предположим, что на вашем сайте есть дублированный контент в форме статьи, доступной по двум URL-адресам: www.mijnsite.nl/artikel и www.mijnsite.nl/artikel.pdf.

5 сайтов ссылаются на первый URL и 5 сайтов ссылаются на второй URL. Следствием этого является то, что linkjuice распределяется по двум разным URL-адресам, а не по всем значениям, перетекающим на один URL / страницу.

Рейтинг вашей статьи в Google теперь ниже, чем если бы все 10 ссылок ссылались на один и тот же URL.

Меньше времени сканирования вашего сайта

Когда робот Googlebot попадет на ваш сайт, он начнет сканировать все ваши страницы. Если он встретит много URL / страниц с одинаковым содержанием, робот Google скоро сдастся.

Сайт с большим количеством дублирующегося контента просто не интересен. Если робот Googlebot тратит меньше времени на сканирование вашего сайта, вы рискуете, что важные страницы на вашем сайте больше не будут сканироваться и, следовательно, не будут отображаться в результатах поиска.

Меньше страниц проиндексировано

На основании PageRank / авторитета вашего сайта Google устанавливает ограничение на количество проиндексированных страниц.

Если в индексе Google уже есть сотни страниц с дублированным контентом с вашего сайта, вы рискуете, что предел достигнут и другие важные страницы вашего сайта не будут включены в индекс.

Штраф за весь сайт

В некоторых случаях дублирование контента может привести к штрафу за весь сайт. Google говорит об этом следующее страницы поддержки :

«В тех редких случаях, когда Google замечает, что дублированный контент отображается с намерением манипулировать нашим рейтингом и вводить в заблуждение наших пользователей, мы также внесем соответствующие коррективы в индексирование и ранжирование соответствующих сайтов. Это может отрицательно повлиять на положение сайта, или сайт может быть удален из индекса Google и, следовательно, больше не отображается в результатах поиска ".

Довольно серьезное наказание.

К счастью, Google не просто раздает такие «штрафы для всего сайта»: чтобы это произошло, сайт должен сделать беспорядок с дублированным контентом.

Самыми большими неудачниками обновлений Panda и Penguin были сайты, которые в основном содержали умеренное и дублированное содержимое. Такие сайты имеют небольшую добавочную ценность или не имеют никакой ценности для пользователей и поэтому исключаются из результатов поиска.

Всегда ли дублированный контент плох?

Если вам важны рейтинги в поисковых системах, дублирующий контент является важным моментом внимания.

Дублированный контент никогда не подходит для вашего собственного домена, и вы должны стараться избегать его как можно больше.

Google может выбрать отображение URL, отличного от вашего предпочтительного URL, в результатах поиска, во многих случаях вы распространяете ненужные ссылки, и может случиться, что меньшее количество страниц на вашем сайте будет просканировано и проиндексировано.

В большинстве случаев лучше избегать дублирования контента на двух или более разных доменах.

Однако в одном случае это неплохо и может даже принести вам пользу. Если вы пишете статью, размещаете ее на своем собственном сайте, а затем предлагаете ее на другом сайте, ничего особенного не происходит, когда Google считает статью на вашем сайте оригинальной и отображает ее в результатах поиска.

Со статьей на другом сайте вы не только увеличиваете свою читательскую группу, но и сразу получаете хорошую ссылку на свой сайт. Дублированный контент иногда может оказаться положительным!

Как вы отслеживаете дублированный контент?

Вы можете обнаружить дублирующийся контент следующими способами:

Инструменты Google для веб-мастеров

Войти в Инструменты Google для веб-мастеров (GWT) до появления Поиск по сайту> HTML улучшения . Здесь вы можете увидеть, встречает ли Google двойные метаописания и / или теги заголовков на вашем сайте, что может указывать на дублирующийся контент в вашем домене.

Google

Если вы хотите проверить, есть ли копии вашей статьи в другом месте в Интернете, вы можете скопировать фрагмент текста из своей статьи и ввести его в двойных кавычках в Google.

Используя двойные кавычки, Google ищет места, где весь этот блок текста появляется в том же порядке в Интернете.

Если вы ищете дублированный контент в своем собственном домене, используйте команду «site:». Вы можете использовать эту команду в сочетании с другими командами поиска.

Например, если вы подозреваете, что на вашем собственном домене есть несколько копий вашей домашней страницы, поищите в Google «site: mijnsite.nl intitle:« заголовок моей домашней страницы »».

Copyscape

Удобный способ проверить, была ли ваша статья перенята другим сайтом без разрешения Copyscape , Просто введите URL-адрес страницы, которую вы хотите проверить, и Copyscape сканирует сеть на предмет возможных дубликатов вашей статьи.

Решения для дублированного контента

Если вы столкнулись с дублирующимся контентом, важно разрешить его снова. Ниже вы можете прочитать различные способы, которыми вы можете сделать это.

Выберите наиболее простое для вас решение и не дублируйте вещи. Например, если вы выбираете перенаправление 301, вам не нужно снова использовать канонический тег.

1. Удалить дублированный контент: 404

Самый простой способ справиться с дублирующимся контентом - просто удалить его. Затем удаленный URL дает 404 код (страница не найдена).

Есть ли на старой странице входящие ссылки и посещаемость? Затем выберите 301 редирект.

2. Переадресация 301

С 301 перенаправление указать, что страница была навсегда перемещена в другое место. Пользователь, который вводит повторяющийся URL-адрес в своем браузере, автоматически перенаправляется на правильный URL-адрес.

Преимущество перенаправления 301 заключается в том, что сок ссылок с дубликата страницы перетекает в оригинал.

Пользователи, которые сохранили старый URL-адрес в избранном, автоматически перенаправляются на новый URL-адрес и не получают сообщение об ошибке 404.

Всегда используйте перенаправление 301 (постоянно перемещенное), а не 302 (временно перемещенное). Переадресация 302 не пропускает сок ссылок.

3. Перенаправить с http на www

Чтобы обеспечить доступ ко всем страницам на вашем сайте через URL одного типа, необходимо создать перенаправление 301 с http на www (или наоборот). Если ваш сайт размещен на сервере Apache, вы можете перенаправить 301, отредактировав файл .htaccess.

Если ваш сайт работает на сервере Microsoft IIS, вы вносите необходимые изменения с помощью диспетчера служб Интернета. Если вы предпочитаете не работать с этим самостоятельно, попросите вашего хостинг-провайдера осуществить перенаправление для вас.

Затем также установить Инструменты Google для веб-мастеров Ваш предпочитаемый домен. Для этого щелкните значок шестеренки в GWT и нажмите « Настройки сайта» . Например, если вы указали здесь версию www в качестве предпочитаемого домена, то Google будет рассматривать все ссылки, которые он находит на версию вашего сайта http, как ссылку на версию www.

4. Каноническая метка

Используя канонический тег, вы можете сообщить Google, какой ваш предпочтительный URL-адрес (также называемый каноническим URL-адресом).

Если вы используете такой канонический тег, вы передаете ссылочный сок, как редирект 301. Вы можете уведомить поисковые системы о канонической странице, добавив канонический тег в раздел <head> неканонической версии страницы.

Например, если ваша домашняя страница доступна через неканонический URL-адрес http://www.mijnsite.nl/index.html, добавьте приведенный ниже код в раздел этой страницы, чтобы Google знал, что http: // www. mijnsite.nl Ваш предпочтительный URL:

5. Опент и мета роботы

С файлом robots.txt в корневом каталоге вы можете сообщить поисковым системам, какие страницы или папки они могут и не могут сканировать. Если у вас есть дублированный контент на странице и в определенной папке, заблокируйте эту страницу и папку для робота Googlebot, включив их в файл robots.txt следующим образом:

Вы также можете сделать это на уровне страницы, добавив мета-тег robots в раздел страницы.

Вы можете выбрать noindex, follow или noindex, nofollow. В обоих случаях страница не индексируется, но с помощью команды follow поисковая система переходит по всем ссылкам на странице, в отличие от команды nofollow.

Google не рекомендует использовать robots.txt и рекомендует использовать другое решение. Если робот Googlebot не может сканировать заблокированные страницы с дублированным контентом, он не может определить, что эти URL-адреса относятся к дублированному контенту и будут рассматривать заблокированные URL-адреса как уникальные и отдельные страницы.

6. Удалите URL в Инструментах Google для веб-мастеров.

Чтобы вручную удалить URL-адрес из индекса Google, перейдите в индекс Google> Удалить URL-адреса в GWT .

Прежде чем запросить запрос на удаление, вы должны сначала удалить страницу, чтобы она дала код 404, и / или заблокировать страницу с помощью robots.txt или метатега noindex робота.

7. Блокируйте параметры URL в Инструментах Google для веб-мастеров.

В GWT вы можете установить определенные параметры URL, чтобы Google игнорировал все URL, содержащие эти параметры, и не включал их в индекс.

Это может быть полезно, например, если ваш сайт использует URL-адреса с идентификаторами сеансов, которые все ссылаются на один и тот же контент. Чтобы установить это, перейдите в GWT для сканирования> Параметры URL .

8. Снасти плагиат

Копировал ли другой сайт контент с вашего сайта без разрешения? Затем свяжитесь с хостом или веб-мастером этого сайта и запросите удаление контента. Если это не поможет, вы можете отправить запрос на удаление в Google.

Написать уникальный и ценный контент

В пейзаже пост-панды и пост-пингвинов SEO как никогда важно писать уникальный и ценный контент. Google все больше преуспевает в переводе пожеланий пользователей в результаты своего поиска.

Пользователи в первую очередь заинтересованы в уникальной, ценной информации, которая помогает им отвечать на вопросы и решать проблемы. Так что пишите контент, который действительно приносит пользу людям, а не просто копируйте фрагменты из других статей.

Умная работа с оптимизацией на странице

Первый шаг в SEO-работе для вашего сайта - сделать комплексный исследование ключевых слов ,

Основываясь на найденных вами ключевых словах, вы начнете оптимизацию на странице, написав целевые SEO-тексты. Google пока не может по-настоящему понять значение ключевых слов.

Так что вы часто видите, что веб-сайты создают отдельные страницы для всех видов вариаций ключевых слов, чтобы ранжироваться по всем этим вариациям.

Например, веб-сайт, который продает страхование автомобилей, создает несколько страниц для ключевых слов «страхование дешевых автомобилей», «страхование дешевых автомобилей», «страхование дешевых автомобилей», «страхование дешевых автомобилей» и т. Д.

Google не хочет, чтобы вы создавали дополнительные страницы, субдомены или домены с почти одинаковым содержанием. Убедитесь, что вы обрабатываете как можно больше таких вариантов ключевых слов на одной странице. Это вполне возможно для ключевых слов, которые не являются чрезмерно конкурентоспособными и имеют одинаковую цель поиска пользователей.

Сильно ли конкурируют ключевые слова и / или цель поиска не совсем одинакова? Затем создайте отдельные страницы, но убедитесь, что вы пишете уникальный контент для каждой из этих страниц.

Конечно, это стоит вам больше времени и денег, но если вы каждый раз копируете один и тот же текст и меняете только ключевые слова, страницы будут помечены как дублирующиеся и не будут отображаться в результатах поиска.

Если вы создаете много страниц такого типа с почти одинаковым содержанием на своем сайте, вы также рискуете получить штраф для всего сайта.

Убедитесь, что ваши внутренние ссылки в порядке

Многие веб-мастера, которые занялись дублированием контента на своих доменах, используя перенаправления 301 и канонические теги, часто забывают проверять и корректировать внутренние ссылки на сайте. Если многие внутренние ссылки все еще ссылаются на неканонические страницы, это дает запутанный сигнал роботу Googlebot. Поэтому всегда следите за тем, чтобы все ваши внутренние ссылки ссылались на канонические страницы.

Советы для партнерских сайтов

Это известная проблема для многих партнерских сайтов: как вы оцениваетесь в Google?

Большинство партнерских сайтов принимают все описания продуктов и рекламные тексты непосредственно от поставщика. Google рассматривает это как дублированный контент и показывает только контент поставщика, так что филиалы едва видны в Google.

Способ решить эту проблему - написать уникальный контент для всех продуктов, которые вы предлагаете. С большими сайтами это означает значительные инвестиции. Но если вы как партнер хотите заработать на продажах и лидах, вам обычно придется кусать кислое яблоко.

Еще один бесплатный способ добавления уникального контента в описания вашего продукта - позволить пользователям добавлять текст с помощью пользовательских отзывов.

Если ваши пользователи могут оставлять отзывы и впечатления на вашем сайте, на страницу немедленно добавляется уникальный контент, который снова сделает вас видимыми в Google в долгосрочной перспективе.

Предложить контент на другие сайты

Вы написали статью и хотите предложить ее для размещения на другом сайте? Затем убедитесь, что сайт, на котором размещена статья, ссылается на оригинальную статью. Таким образом, в большинстве случаев Google может определить, является ли статья на вашем сайте оригинальной, так что ваш сайт также отображается в результатах поиска.

Вы хотите быть абсолютно уверены, что Google видит статью на вашем сайте как оригинальную? Тогда вы можете:

1. Предлагайте статью только тогда, когда Google уже проиндексировал статью на вашем сайте;

2. Попросите, чтобы сайт-эквайер добавил на страницу канонический тег со ссылкой на ваш сайт;

и / или

3. Попросите, чтобы принимающий сайт разместил на странице метатег робота noindex.

Видео о дублированном контенте

В видео выше я расскажу вам все о дублированном контенте или дублированном контенте. Предпочитаете читать текст? Это тоже возможно!

Мы часто получаем вопросы, которые показывают, что люди боятся дублированного контента и его негативных последствий. Что особенно важно знать: если вы сознательно не копируете контент с других сайтов 1 на 1 на своем веб-сайте или не начинаете просматривать его (получая RSS-канал и размещая его на своем сайте), ничего не происходит когда дело доходит до штрафов от Google.

Две страницы с почти одинаковыми ключевыми словами?

Когда дело доходит до дублированный контент на вашем сайте, вы должны принять во внимание ряд вещей. Предположим, вы нашли два ключевых слова, каждое из которых имеет хорошие оценки. Одно ключевое слово - «купить веб-камеру онлайн», а другое - «купить веб-камеру онлайн». Поскольку вы хотите привлечь как можно больше релевантных посетителей на свой веб-сайт, возможно, вы захотите создать и заполнить отдельную страницу для обоих ключевых слов. Тем не менее, это не умная идея! Если вы используете ключевые слова, которые имеют одинаковое значение и имеют одинаковое предназначение поиска, лучше объединить эти страницы.

Google становится лучше распознавать это поисковое намерение. Если вы пишете две страницы о почти идентичных ключевых словах, вы только путаете поисковые системы. Какая страница должна быть показана, и куда на самом деле должно идти значение? Короче говоря, ты не облегчаешь себя.

Предложение версии для печати является (или может быть) дублирующимся контентом

Я часто вижу, что люди предлагают печатную версию контента на своем сайте. Если вы нажмете на это, вы увидите только текст (без изображений и тому подобное). Предложение такой печатной страницы действительно является дублирующим контентом, особенно если вы разрешаете поисковым системам индексировать его отдельно. Вы не можете быть наказаны за это, но это остается тем, чего вы не хотите.

Поэтому целесообразно поместить эту печатную страницу на NOINDEX так что это не индексируется. Другое решение, хотя оно не совсем соответствует этому примеру, - это использование канонического. Если у вас есть две почти идентичные страницы, используйте каноническую для обозначения «это настоящая страница, куда должны идти все значения и какие должны быть показаны».

Последнее, что вы можете сделать, если у вас есть две идентичные страницы, которые на самом деле не выполняют отдельные функции, это настроить перенаправление 301. Затем вы делаете страницу A более или менее невидимой, потому что посетители перенаправляются на страницу B.

Вывод: не волнуйся!

Поэтому я пришел к выводу, что вам не нужно сильно беспокоиться о дублировании контента. Вы не просто наказаны за это, если только вы сознательно не скопируете контент и не разместите его на своем веб-сайте. Просто убедитесь, что у вас есть уникальный контент, и не создавайте отдельные страницы на основе ключевых слов, которые на самом деле означают одно и то же (одно и то же намерение поиска).

Эта статья была частично создана в сотрудничестве с Михель Брэнд ,

Похожие

Комментарии