Управление файлами Robots.txt и Sitemap

  1. Фон
  2. Предпосылки
  3. 2. Анализ веб-сайта
  4. Управление файлом Robots.txt
  5. Добавление запрещающих и разрешающих правил
  6. Управление файлами Sitemap
  7. Добавление URL в карту сайта
  8. Резюме

от Руслан Якушев

IIS Search Engine Optimization Toolkit включает в себя функцию исключения роботов, которую вы можете использовать для управления содержимым файла Robots.txt для вашего веб-сайта, а также включает в себя функции Sitemaps и Sitemap Indexes , которые можно использовать для управления картами сайта вашего сайта. В этом пошаговом руководстве объясняется, как и зачем использовать эти функции.

Фон

Сканеры поисковых систем будут тратить ограниченное время и ресурсы на ваш веб-сайт. Поэтому важно сделать следующее:

  1. Запретить сканерам индексировать контент, который не важен или не должен отображаться на страницах результатов поиска.
  2. Направьте сканеры на контент, который вы считаете наиболее важным для индексации.

Есть два протокола, которые обычно используются для решения этих задач: Протокол исключения роботов и Протокол Sitemaps ,

Протокол исключения роботов используется, чтобы сообщить сканерам поисковых систем, какие URL-адреса НЕ следует запрашивать при сканировании веб-сайта. Инструкции по исключению помещаются в текстовый файл с именем Robots.txt, который находится в корне веб-сайта. Большинство сканеров поисковых систем обычно ищут этот файл и следуют инструкциям в нем.

Протокол Sitemaps используется для информирования сканеров поисковых систем об URL-адресах, доступных для сканирования на вашем веб-сайте. Кроме того, файлы Sitemap используются для предоставления некоторых дополнительных метаданных об URL-адресах сайта, таких как время последнего изменения, частота изменения, относительный приоритет и т. Д. Поисковые системы могут использовать эти метаданные при индексации вашего веб-сайта.

Предпосылки

Для выполнения этого пошагового руководства вам потребуется веб-сайт IIS 7 или более поздней версии или веб-приложение, которым вы управляете. Если у вас его нет, вы можете установить его с Галерея веб-приложений Microsoft , В этом пошаговом руководстве мы будем использовать популярное приложение для ведения блогов. DasBlog ,

2. Анализ веб-сайта

Если у вас есть веб-сайт или веб-приложение, вы можете проанализировать его, чтобы понять, как типичная поисковая система будет сканировать его содержимое. Для этого выполните шаги, изложенные в статьях Использование анализа сайта для сканирования веб-сайта " а также " Использование отчетов об анализе сайта ". Когда вы будете проводить анализ, вы, вероятно, заметите, что у вас есть определенные URL-адреса, доступные поисковым системам для сканирования, но нет никакой реальной выгоды в том, что они сканируются или индексируются. Например, страницы входа или страницы ресурсов не должны запрашиваться даже поисковыми системами. Такие URL-адреса должны быть скрыты от поисковых систем путем добавления их в файл Robots.txt.

Управление файлом Robots.txt

Вы можете использовать функцию исключения роботов IIS SEO Toolkit, чтобы создать файл Robots.txt, который сообщает поисковым системам, какие части веб-сайта не следует сканировать или индексировать. Следующие шаги описывают, как использовать этот инструмент.

  1. Откройте консоль управления IIS, введя INETMGR в меню «Пуск».
  2. Перейдите на свой веб-сайт с помощью дерева в левой части экрана (например, веб-сайт по умолчанию).
  3. Нажмите на значок поисковой оптимизации в разделе «Управление»:
    от   Руслан Якушев   IIS Search Engine Optimization Toolkit включает в себя функцию исключения роботов, которую вы можете использовать для управления содержимым файла Robots
  4. На главной странице SEO нажмите на ссылку « Добавить новое запрещающее правило » в разделе « Исключение роботов ».

Добавление запрещающих и разрешающих правил

Диалог «Добавить запретить правила» откроется автоматически:

Протокол исключения роботов использует директивы «Разрешить» и «Запретить» для информирования поисковых систем о путях URL, которые можно сканировать, и о тех, которые нельзя. Эти директивы могут быть указаны для всех поисковых систем или для конкретных пользовательских агентов, определенных HTTP-заголовком user-agent. В диалоговом окне «Добавить запрещающие правила» вы можете указать, к какому поисковому механизму поисковой системы будет применяться директива, введя пользовательский агент сканера в поле «Робот (пользовательский агент)».

Представление «Путь к URL-адресу» используется для выбора запрещенных URL-адресов. При выборе путей URL можно выбрать один из нескольких вариантов с помощью раскрывающегося списка «Структура URL»:

  • Физическое местоположение - вы можете выбрать пути из макета физической файловой системы вашего веб-сайта.
  • В Анализ сайта (имя анализа) - вы можете выбрать пути из виртуальной структуры URL, которая была обнаружена при анализе сайта с помощью инструмента IIS Site Analysis.
  • <Запустить новый анализ сайта ...> - вы можете запустить новый анализ сайта, чтобы получить структуру виртуального URL-адреса для вашего веб-сайта, а затем выбрать пути URL-адреса оттуда.

После выполнения шагов, описанных в разделе предварительных условий, вам будет доступен анализ сайта. Выберите анализ в раскрывающемся списке, а затем проверьте URL-адреса, которые необходимо скрыть от поисковых систем, используя флажки в представлении дерева «URL-пути»:

После выбора всех каталогов и файлов, которые необходимо запретить, нажмите ОК. Вы увидите новые запрещенные записи в главном представлении функций:

Кроме того, файл Robots.txt для сайта будет обновлен (или создан, если он не существует). Его содержание будет выглядеть примерно так:

Пользовательский агент: * Disallow: /EditConfig.aspx Disallow: /EditService.asmx/ Disallow: / images / Disallow: /Login.aspx Disallow: / scripts / Disallow: /SyndicationService.asmx/

Чтобы увидеть, как работает Robots.txt, вернитесь к функции анализа сайта и повторно запустите анализ для сайта. На странице "Сводка отчетов" в категории " Ссылки" выберите ссылки, заблокированные файлом Robots.txt . В этом отчете будут отображены все ссылки, которые не были просканированы, поскольку они были запрещены только что созданным файлом Robots.txt.

Управление файлами Sitemap

Вы можете использовать функцию Sitemaps и Sitemap Indexes в IIS SEO Toolkit, чтобы создавать карты сайта на своем веб-сайте для информирования поисковых систем о страницах, которые необходимо сканировать и индексировать. Для этого выполните следующие действия:

  1. Откройте диспетчер IIS, введя INETMGR в меню « Пуск» .
  2. Перейдите на свой веб-сайт, используя древовидное представление слева.
  3. Нажмите на значок поисковой оптимизации в разделе «Управление»:
  4. На главной странице SEO нажмите ссылку « Создать новую карту сайта » в разделе « Sitemaps» и «Sitemap Indexes ».
  5. Диалог Add Sitemap откроется автоматически.
  6. Введите имя для файла Sitemap и нажмите « ОК» . Откроется диалоговое окно « Добавить URL ».

Добавление URL в карту сайта

Диалог добавления URL выглядит следующим образом:

Файл Sitemap в основном представляет собой простой XML-файл, в котором перечислены URL-адреса вместе с некоторыми метаданными, такими как частота изменений, дата последнего изменения и относительный приоритет. Диалоговое окно « Добавить URL-адреса » используется для добавления новых записей URL-адресов в XML-файл Sitemap. Каждый URL в карте сайта должен иметь полный формат URI (т. Е. Он должен содержать префикс протокола и имя домена). Итак, первое, что вы должны указать, это домен, который будет использоваться для URL-адресов, которые вы собираетесь добавить в карту сайта.

Представление «Путь к URL-адресу» используется для выбора URL-адресов, которые следует добавить в карту сайта для индексации. Вы можете выбрать один из нескольких вариантов, используя раскрывающийся список «Структура URL»:

  • Физическое местоположение - вы можете выбрать URL-адреса из макета физической файловой системы вашего веб-сайта.
  • В Анализ сайта (имя анализа) - вы можете выбрать URL из виртуальной структуры URL, которая была обнаружена при анализе сайта с помощью инструмента Анализ сайта.
  • <Запустить новый анализ сайта ...> - вы можете запустить новый анализ сайта, чтобы получить структуру виртуального URL-адреса для вашего веб-сайта, а затем выбрать пути URL-адреса, которые вы хотите добавить для индексации.

После того, как вы выполнили шаги в разделе предварительных условий, у вас будет доступный анализ сайта. Выберите его в раскрывающемся списке, а затем проверьте URL-адреса, которые необходимо добавить в карту сайта.

При необходимости измените параметры « Частота изменения», «Дата последнего изменения» и « Приоритет» , а затем нажмите кнопку « ОК», чтобы добавить URL-адреса в карту сайта. Файл sitemap.xml будет обновлен (или создан, если он не существует), и его содержимое будет выглядеть следующим образом:

<urlset> <url> <loc> http: //myblog/2009/03/11/CongratulationsYouveInstalledDasBlogWithWebDeploy.aspx </ loc> <lastmod> 2009-06-03T16: 05: 02 </ lastmod> <changefreq> еженедельно </ changefreq> <priority> 0.5 </ priority> </ url> <url> <loc> http: //myblog/2009/06/02/ASPNETAndURLRewriting.aspx </ loc> <lastmod> 2009-06-03T16: 05: 01 </ lastmod> <changefreq> еженедельно </ changefreq> <priority> 0.5 </ priority> </ url> </ urlset>

Теперь, когда вы создали карту сайта, вам нужно сообщить поисковым системам, где она находится, чтобы они могли начать ее использовать. Самый простой способ сделать это - добавить URL-адрес местоположения карты сайта в файл Robots.txt.

В функции Sitemaps и Sitemap Indexes выберите только что созданную карту сайта, а затем нажмите « Добавить в Robots.txt» на панели « Действия» :

Ваш файл Robots.txt будет выглядеть примерно так:

Пользовательский агент: * Disallow: /EditService.asmx/ Disallow: / images / Disallow: / scripts / Disallow: /SyndicationService.asmx/ Disallow: /EditConfig.aspx Disallow: /Login.aspx Карта сайта: http: // myblog / sitemap .xml

Помимо добавления местоположения карты сайта в файл Robots.txt, рекомендуется отправлять URL-адрес местоположения карты сайта в основные поисковые системы. Это позволит вам получить полезный статус и статистику о вашем веб-сайте из инструментов веб-мастеров поисковой системы.

Резюме

В этом пошаговом руководстве вы узнали, как использовать функции исключения роботов, а также файлы Sitemap и индексы файлов Sitemap IIS Search Engine Optimization Toolkit для управления файлами Robots.txt и картой сайта на вашем веб-сайте. IIS Search Engine Optimization Toolkit предоставляет интегрированный набор инструментов, которые работают вместе, чтобы помочь вам создать и проверить правильность файлов Robots.txt и карты сайта, прежде чем поисковые системы начнут их использовать.

О том, как смешивать свежевыжатые соки
Ни для кого не секрет, что стакан свежевыжатого овощного или фруктового сока, способен придать заряд энергии и бодрости, а также положительным образом отразиться на состоянии здоровья человека. При этом

Полный список кандидатов в президенты страны станет известен к концу января
9 января 2008, 15:53 Текст: editor На будущей неделе закончится срок приема документов для регистрации кандидатов в президенты. На принятие решения по документам у Центризбиркома будет десять дней. НОРИЛЬСК.

ЄДНІСТЬ : У Києві через високий рівень захворюваності на грип та ГРВІ закрили вже 75 шкіл
У Києві призупинено заняття у 75 школах (2127 класів), у яких рівень захворюваності на грип та ГРВІ перевищив 20%. Інформує  «Є!» , з посиланням на УНІАН. Про це наразі повідомив перший заступник

Список полезных заготовок из овощей и фруктов на зиму
Список полезных заготовок из овощей и фруктов на зиму Август и сентябрь — традиционно хлопотное время для многих хозяек, садоводов и дачников-любителей. В первую очередь необходимо собрать урожай или

Березовый сок можно ли использовать при сахарном диабете
Березовый сок при сахарном диабете — сахарный диабет: все о заболевании и методах лечения Березовый сок с давних времен славится своими целебными свойствами. Дело в том, что в весенний период береза

Свежевыжатые соки. (кому не лень читать)
Вы видели фильм о , которую исследовал японский ученый Имоту Масара? Уникальные опыты показали, что структурированная жидкость может творить чудеса и оздоравливать наши клетки, омолаживая организм

Купажирование и подслащивание соков
Некоторые соки иногда бывают пресными, слишком кислыми или недостаточно сладкими. Чтобы такие соки были полноценными по вкусовым и питательным качествам, к ним добавляют соки из того же вида сырья, но

Лечение рака по Бройсу и др
Лечение Рака по Бройсу. (Рудольф Бройс) «Совсем недавно китайские медики обнаружили, что у онкобольных количество микроэлементов в печени, в волосах и некоторых других органах резко снижено. Возможно,

С каким соком пить водку?
Ответ: С каким соком пить водку? ВИНОВАТ АНТИАЛКОГОЛЬНЫЙ ФЕРМЕНТ - Владимир Георгиевич, главный вопрос

Сок добрый
Министерство общего и профессионального образования Российской Федерации Санкт-Петербургский Государственный Технологический институт (Технический университет) Факультет Экономики и