Управление файлами Robots.txt и Sitemap

1. Фон
2. Предпосылки
3. 2. Анализ веб-сайта
4. Управление файлом Robots.txt
5. Добавление запрещающих и разрешающих правил
6. Управление файлами Sitemap
7. Добавление URL в карту сайта
8. Резюме

от Руслан Якушев

IIS Search Engine Optimization Toolkit включает в себя функцию исключения роботов, которую вы можете использовать для управления содержимым файла Robots.txt для вашего веб-сайта, а также включает в себя функции Sitemaps и Sitemap Indexes , которые можно использовать для управления картами сайта вашего сайта. В этом пошаговом руководстве объясняется, как и зачем использовать эти функции.

Фон

Сканеры поисковых систем будут тратить ограниченное время и ресурсы на ваш веб-сайт. Поэтому важно сделать следующее:

1. Запретить сканерам индексировать контент, который не важен или не должен отображаться на страницах результатов поиска.
2. Направьте сканеры на контент, который вы считаете наиболее важным для индексации.

Есть два протокола, которые обычно используются для решения этих задач: Протокол исключения роботов и Протокол Sitemaps ,

Протокол исключения роботов используется, чтобы сообщить сканерам поисковых систем, какие URL-адреса НЕ следует запрашивать при сканировании веб-сайта. Инструкции по исключению помещаются в текстовый файл с именем Robots.txt, который находится в корне веб-сайта. Большинство сканеров поисковых систем обычно ищут этот файл и следуют инструкциям в нем.

Протокол Sitemaps используется для информирования сканеров поисковых систем об URL-адресах, доступных для сканирования на вашем веб-сайте. Кроме того, файлы Sitemap используются для предоставления некоторых дополнительных метаданных об URL-адресах сайта, таких как время последнего изменения, частота изменения, относительный приоритет и т. Д. Поисковые системы могут использовать эти метаданные при индексации вашего веб-сайта.

Предпосылки

Для выполнения этого пошагового руководства вам потребуется веб-сайт IIS 7 или более поздней версии или веб-приложение, которым вы управляете. Если у вас его нет, вы можете установить его с Галерея веб-приложений Microsoft , В этом пошаговом руководстве мы будем использовать популярное приложение для ведения блогов. DasBlog ,

2. Анализ веб-сайта

Если у вас есть веб-сайт или веб-приложение, вы можете проанализировать его, чтобы понять, как типичная поисковая система будет сканировать его содержимое. Для этого выполните шаги, изложенные в статьях Использование анализа сайта для сканирования веб-сайта " а также " Использование отчетов об анализе сайта ". Когда вы будете проводить анализ, вы, вероятно, заметите, что у вас есть определенные URL-адреса, доступные поисковым системам для сканирования, но нет никакой реальной выгоды в том, что они сканируются или индексируются. Например, страницы входа или страницы ресурсов не должны запрашиваться даже поисковыми системами. Такие URL-адреса должны быть скрыты от поисковых систем путем добавления их в файл Robots.txt.

Управление файлом Robots.txt

Вы можете использовать функцию исключения роботов IIS SEO Toolkit, чтобы создать файл Robots.txt, который сообщает поисковым системам, какие части веб-сайта не следует сканировать или индексировать. Следующие шаги описывают, как использовать этот инструмент.

1. Откройте консоль управления IIS, введя INETMGR в меню «Пуск».
2. Перейдите на свой веб-сайт с помощью дерева в левой части экрана (например, веб-сайт по умолчанию).
3. Нажмите на значок поисковой оптимизации в разделе «Управление»:
   
4. На главной странице SEO нажмите на ссылку « Добавить новое запрещающее правило » в разделе « Исключение роботов ».
   

Добавление запрещающих и разрешающих правил

Диалог «Добавить запретить правила» откроется автоматически:

Протокол исключения роботов использует директивы «Разрешить» и «Запретить» для информирования поисковых систем о путях URL, которые можно сканировать, и о тех, которые нельзя. Эти директивы могут быть указаны для всех поисковых систем или для конкретных пользовательских агентов, определенных HTTP-заголовком user-agent. В диалоговом окне «Добавить запрещающие правила» вы можете указать, к какому поисковому механизму поисковой системы будет применяться директива, введя пользовательский агент сканера в поле «Робот (пользовательский агент)».

Представление «Путь к URL-адресу» используется для выбора запрещенных URL-адресов. При выборе путей URL можно выбрать один из нескольких вариантов с помощью раскрывающегося списка «Структура URL»:

• Физическое местоположение - вы можете выбрать пути из макета физической файловой системы вашего веб-сайта.
• В Анализ сайта (имя анализа) - вы можете выбрать пути из виртуальной структуры URL, которая была обнаружена при анализе сайта с помощью инструмента IIS Site Analysis.
• <Запустить новый анализ сайта ...> - вы можете запустить новый анализ сайта, чтобы получить структуру виртуального URL-адреса для вашего веб-сайта, а затем выбрать пути URL-адреса оттуда.

После выполнения шагов, описанных в разделе предварительных условий, вам будет доступен анализ сайта. Выберите анализ в раскрывающемся списке, а затем проверьте URL-адреса, которые необходимо скрыть от поисковых систем, используя флажки в представлении дерева «URL-пути»:

После выбора всех каталогов и файлов, которые необходимо запретить, нажмите ОК. Вы увидите новые запрещенные записи в главном представлении функций:

Кроме того, файл Robots.txt для сайта будет обновлен (или создан, если он не существует). Его содержание будет выглядеть примерно так:

Пользовательский агент: * Disallow: /EditConfig.aspx Disallow: /EditService.asmx/ Disallow: / images / Disallow: /Login.aspx Disallow: / scripts / Disallow: /SyndicationService.asmx/

Чтобы увидеть, как работает Robots.txt, вернитесь к функции анализа сайта и повторно запустите анализ для сайта. На странице "Сводка отчетов" в категории " Ссылки" выберите ссылки, заблокированные файлом Robots.txt . В этом отчете будут отображены все ссылки, которые не были просканированы, поскольку они были запрещены только что созданным файлом Robots.txt.

Управление файлами Sitemap

Вы можете использовать функцию Sitemaps и Sitemap Indexes в IIS SEO Toolkit, чтобы создавать карты сайта на своем веб-сайте для информирования поисковых систем о страницах, которые необходимо сканировать и индексировать. Для этого выполните следующие действия:

1. Откройте диспетчер IIS, введя INETMGR в меню « Пуск» .
2. Перейдите на свой веб-сайт, используя древовидное представление слева.
3. Нажмите на значок поисковой оптимизации в разделе «Управление»:
   
4. На главной странице SEO нажмите ссылку « Создать новую карту сайта » в разделе « Sitemaps» и «Sitemap Indexes ».
   
5. Диалог Add Sitemap откроется автоматически.
   
6. Введите имя для файла Sitemap и нажмите « ОК» . Откроется диалоговое окно « Добавить URL ».

Добавление URL в карту сайта

Диалог добавления URL выглядит следующим образом:

Файл Sitemap в основном представляет собой простой XML-файл, в котором перечислены URL-адреса вместе с некоторыми метаданными, такими как частота изменений, дата последнего изменения и относительный приоритет. Диалоговое окно « Добавить URL-адреса » используется для добавления новых записей URL-адресов в XML-файл Sitemap. Каждый URL в карте сайта должен иметь полный формат URI (т. Е. Он должен содержать префикс протокола и имя домена). Итак, первое, что вы должны указать, это домен, который будет использоваться для URL-адресов, которые вы собираетесь добавить в карту сайта.

Представление «Путь к URL-адресу» используется для выбора URL-адресов, которые следует добавить в карту сайта для индексации. Вы можете выбрать один из нескольких вариантов, используя раскрывающийся список «Структура URL»:

• Физическое местоположение - вы можете выбрать URL-адреса из макета физической файловой системы вашего веб-сайта.
• В Анализ сайта (имя анализа) - вы можете выбрать URL из виртуальной структуры URL, которая была обнаружена при анализе сайта с помощью инструмента Анализ сайта.
• <Запустить новый анализ сайта ...> - вы можете запустить новый анализ сайта, чтобы получить структуру виртуального URL-адреса для вашего веб-сайта, а затем выбрать пути URL-адреса, которые вы хотите добавить для индексации.

После того, как вы выполнили шаги в разделе предварительных условий, у вас будет доступный анализ сайта. Выберите его в раскрывающемся списке, а затем проверьте URL-адреса, которые необходимо добавить в карту сайта.

При необходимости измените параметры « Частота изменения», «Дата последнего изменения» и « Приоритет» , а затем нажмите кнопку « ОК», чтобы добавить URL-адреса в карту сайта. Файл sitemap.xml будет обновлен (или создан, если он не существует), и его содержимое будет выглядеть следующим образом:

<urlset> <url> <loc> http: //myblog/2009/03/11/CongratulationsYouveInstalledDasBlogWithWebDeploy.aspx </ loc> <lastmod> 2009-06-03T16: 05: 02 </ lastmod> <changefreq> еженедельно </ changefreq> <priority> 0.5 </ priority> </ url> <url> <loc> http: //myblog/2009/06/02/ASPNETAndURLRewriting.aspx </ loc> <lastmod> 2009-06-03T16: 05: 01 </ lastmod> <changefreq> еженедельно </ changefreq> <priority> 0.5 </ priority> </ url> </ urlset>

Теперь, когда вы создали карту сайта, вам нужно сообщить поисковым системам, где она находится, чтобы они могли начать ее использовать. Самый простой способ сделать это - добавить URL-адрес местоположения карты сайта в файл Robots.txt.

В функции Sitemaps и Sitemap Indexes выберите только что созданную карту сайта, а затем нажмите « Добавить в Robots.txt» на панели « Действия» :

Ваш файл Robots.txt будет выглядеть примерно так:

Пользовательский агент: * Disallow: /EditService.asmx/ Disallow: / images / Disallow: / scripts / Disallow: /SyndicationService.asmx/ Disallow: /EditConfig.aspx Disallow: /Login.aspx Карта сайта: http: // myblog / sitemap .xml

Помимо добавления местоположения карты сайта в файл Robots.txt, рекомендуется отправлять URL-адрес местоположения карты сайта в основные поисковые системы. Это позволит вам получить полезный статус и статистику о вашем веб-сайте из инструментов веб-мастеров поисковой системы.

Резюме

В этом пошаговом руководстве вы узнали, как использовать функции исключения роботов, а также файлы Sitemap и индексы файлов Sitemap IIS Search Engine Optimization Toolkit для управления файлами Robots.txt и картой сайта на вашем веб-сайте. IIS Search Engine Optimization Toolkit предоставляет интегрированный набор инструментов, которые работают вместе, чтобы помочь вам создать и проверить правильность файлов Robots.txt и карты сайта, прежде чем поисковые системы начнут их использовать.

Похожие

Комментарии