Настройте файл robots.txt для WordPress: Руководство

  1. КРОУЛЕР / ПАУК: ЭТИ (И) ИЗВЕСТНЫЕ!
  2. ГДЕ Я ВСТАВЛЯЮ ФАЙЛ ROBOTS.TXT, ЕСЛИ Я ИСПОЛЬЗУЮ ХОЛДИНГ?
  3. Сконфигурируйте файл ROBOTS.TXT для WORDPRESS

Вы часто слышали о файле robots.txt, если имеете дело с WordPress, но что именно это? Давайте начнем с технического описания, предлагаемого Википедией:

«Протокол исключения роботов указывает на жаргоне Интернета и, в более общем смысле, Интернета, правила, используемые сканерами для применения ограничений анализа на страницах веб-сайта. Они содержатся в файле robots.txt , созданном в июне 1994 года с согласия членов списка рассылки роботов. На данный момент нет реального стандарта для протокола роботов ".

На практике этот файл содержит инструкции, которым должны следовать поисковые системы при сканировании страниц сайта.

Впервые я почувствовал необходимость настроить файл robots.txt, когда Google Webmaster Tool Я нашел так много ошибок 404 . Посетители не смогли найти много ссылок, потому что я полностью удалил их с сайта.

КРОУЛЕР / ПАУК: ЭТИ (И) ИЗВЕСТНЫЕ!

Но что такое воронцы? Сканер - это программное обеспечение, которое анализирует содержимое нашей базы данных от имени поисковой системы. На практике поисковая система предоставляет краулеру список URL-адресов, которые необходимо проанализировать, чтобы постоянно обновлять список наших гиперссылок.

Когда вы конфигурируете файл robots.txt, все, что вам нужно сделать, это дать правилам сканеров (также называемых пауками ) следовать и указывать, какие страницы следует анализировать и сканировать, а какие - нет.

ГДЕ Я ВСТАВЛЯЮ ФАЙЛ ROBOTS.TXT, ЕСЛИ Я ИСПОЛЬЗУЮ ХОЛДИНГ?

Достаточно простого блокнота или другого текстового редактора. Важно сохранить файл с расширением .TXT и назвать его точно robots.txt.

После того, как вы создали файл, просто загрузите его в корневой каталог нашего сайта, и все готово!

  • Чтобы быть более точным, введите свой сайт через программу FTP (я использую его FileZilla и я очень рекомендую это), загрузите файл robots.txt в основную папку, которая содержит как три основные папки WordPress (wp-content / wp-admin / wp-includes), так и другие файлы типа index.php / wp -config.php и т. д.

Здесь вам нужно точно загрузить файл robots.txt. В этом примере я использовал FileZilla.

Сконфигурируйте файл ROBOTS.TXT для WORDPRESS

[НЕТ] Будьте осторожны, потому что если вы введете « / » в запрете, вы заблокируете индексирование всего содержимого:

Пользовательский агент: * Disallow: /

[ДА] Так как я уверен, что вы хотели бы, чтобы лучшая модель файла robots.txt уже была красивой и готовой , вот одна, сделанная в соответствии с рекомендациями CodePlex ,

Пользовательский агент: * Разрешить: / Disallow: / cgi-bin Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content Disallow: / e / Disallow: / show-error- * Disallow: / xmlrpc. php Disallow: / trackback / Disallow: / comment-page- Разрешить: / wp-content / uploads / Пользовательский агент: Mediapartners-Google Разрешить: / Пользовательский агент: Adsbot-Google Разрешить: / Пользовательский агент: Googlebot-Image Allow : / Пользователь-агент: Googlebot-Mobile Разрешить: / Карта сайта: http: // www.mysite.com/sitemap.xml (ЗДЕСЬ, ПОЖАЛУЙСТА, ВХОДИТЕ В САЙТ САЙТА)

Ваш первый файл роботов, с другой стороны, должен был быть настроен как пример ниже:

Пользовательский агент: * Disallow:

Очевидно, что ничто не мешает вам создать файл robots.txt, настроенный в соответствии с вашими потребностями! Если вы хотите, чтобы другие сайты выглядели так, как они настроены, в конце URL-адреса напишите «/robots.txt» (без кавычек).

Например поиск www.facebook.it/robots.txt и посмотрите, какая конфигурация использует портал Марка Цукерберга. Я считаю, что Google в любом случае предпочитает предоставить полный доступ к сайту , на самом деле, если вы контролируете консоль Веб Мастер Инструмент и следуйте по пути:

  • Конфигурация сайта
  • гусеничный
  • Создать файл Robots.txt

Вам будет рекомендовано установить файл следующим образом:

Пользователь-агент: * Разрешить: /

Теперь вам просто нужно поэкспериментировать и настроить файл robots.txt так, как вам удобно. Чтобы проверить результаты, постоянно проверяйте данные, показанные на веб- сайте "Инструментов Google для веб-мастеров", и изменяйте их в соответствии со своими потребностями.

Джорджо Перилло

Рейтинг: 4.7 / 5. Из 14 голосов.

Пожалуйста, подождите ...

TXT, ЕСЛИ Я ИСПОЛЬЗУЮ ХОЛДИНГ?
Но что такое воронцы?
TXT, ЕСЛИ Я ИСПОЛЬЗУЮ ХОЛДИНГ?
О том, как смешивать свежевыжатые соки
Ни для кого не секрет, что стакан свежевыжатого овощного или фруктового сока, способен придать заряд энергии и бодрости, а также положительным образом отразиться на состоянии здоровья человека. При этом

Полный список кандидатов в президенты страны станет известен к концу января
9 января 2008, 15:53 Текст: editor На будущей неделе закончится срок приема документов для регистрации кандидатов в президенты. На принятие решения по документам у Центризбиркома будет десять дней. НОРИЛЬСК.

ЄДНІСТЬ : У Києві через високий рівень захворюваності на грип та ГРВІ закрили вже 75 шкіл
У Києві призупинено заняття у 75 школах (2127 класів), у яких рівень захворюваності на грип та ГРВІ перевищив 20%. Інформує  «Є!» , з посиланням на УНІАН. Про це наразі повідомив перший заступник

Список полезных заготовок из овощей и фруктов на зиму
Список полезных заготовок из овощей и фруктов на зиму Август и сентябрь — традиционно хлопотное время для многих хозяек, садоводов и дачников-любителей. В первую очередь необходимо собрать урожай или

Березовый сок можно ли использовать при сахарном диабете
Березовый сок при сахарном диабете — сахарный диабет: все о заболевании и методах лечения Березовый сок с давних времен славится своими целебными свойствами. Дело в том, что в весенний период береза

Свежевыжатые соки. (кому не лень читать)
Вы видели фильм о , которую исследовал японский ученый Имоту Масара? Уникальные опыты показали, что структурированная жидкость может творить чудеса и оздоравливать наши клетки, омолаживая организм

Купажирование и подслащивание соков
Некоторые соки иногда бывают пресными, слишком кислыми или недостаточно сладкими. Чтобы такие соки были полноценными по вкусовым и питательным качествам, к ним добавляют соки из того же вида сырья, но

Лечение рака по Бройсу и др
Лечение Рака по Бройсу. (Рудольф Бройс) «Совсем недавно китайские медики обнаружили, что у онкобольных количество микроэлементов в печени, в волосах и некоторых других органах резко снижено. Возможно,

С каким соком пить водку?
Ответ: С каким соком пить водку? ВИНОВАТ АНТИАЛКОГОЛЬНЫЙ ФЕРМЕНТ - Владимир Георгиевич, главный вопрос

Сок добрый
Министерство общего и профессионального образования Российской Федерации Санкт-Петербургский Государственный Технологический институт (Технический университет) Факультет Экономики и