Полное руководство по кодам состояния HTTP и заголовкам для SEO

1. HTTP коды состояния
2. 200 ОК
3. 301 переехал навсегда
4. 302 переехал временно
5. 304 не изменен
6. 307 временный редирект
7. 404 не найдено и 410 пропало
8. 429 слишком много запросов
9. 500 внутренняя ошибка сервера и 503 служба недоступна
10. Заголовки HTTP
11. Каноническая ссылка
12. Hreflang ссылки
13. Метатег Robots и X-Robots-Tag
14. Кэш-контроль
15. изменяться
16. HTTP заголовки для безопасности
17. Мы только что поцарапали поверхность

В архитектуре клиент-сервер World Wide Web взаимодействие между браузерами и веб-сайтами осуществляется через протокол передачи гипертекста (HTTP). Этот протокол был введен в 1991 году и является официальным веб-стандартом. Почти весь трафик в сети обрабатывается через HTTP.

Когда пауки поисковых систем, такие как робот Googlebot, сканируют веб-сайт, они ведут себя как браузеры, запрашивающие веб-страницы с сайта, и полагаются на HTTP для этого обмена. Вот почему для специалистов по поисковой оптимизации (SEO) важно понимать, как работает протокол HTTP и как он влияет на сканирование и индексацию веб-страниц поисковыми системами. В этой колонке я объясню все, что вам нужно знать.

Но сначала позвольте мне рассказать вам об инструментах, которые вам понадобятся для проведения необходимых тестов на вашем сайте. Google Chrome DevTools позволяет просматривать полный HTTP-ответ унифицированного указателя ресурса (URL), но это может быть неудобно для просмотра. Я предпочитаю использовать плагины Ayima Page Insights и Ayima Redirect Path Chrome, чтобы показать мне полный HTTP-ответ URL.

Используя плагин Ayima Page Insights в Chrome, вот как выглядит HTTP-ответ:

Другим инструментом, который выполняет ту же работу, является Live HTTP Headers для Chrome.

HTTP коды состояния

Давайте поговорим о кодах состояния HTTP.

Когда веб-страница запрашивается с веб-сайта, сервер веб-сайта отвечает кодом состояния HTTP. Этот код является подтверждением запроса клиента и указывает тип ответа, который сервер отправляет клиенту.

Существуют сотни различных кодов HTTP-статуса, на которые веб-сервер может ответить, и с которыми вы можете столкнуться в своей повседневной работе по поисковой оптимизации (SEO). Это поможет вам ознакомиться с большинством из них, чтобы вы знали, как с ними работать. Вот список наиболее распространенных кодов состояния HTTP:

• 200 ОК.
• 300 Несколько вариантов.
• 301 Переехал навсегда.
• 302 Переехал временно.
• 304 Не модифицировано.
• 307 Временный редирект.
• ошибка 400, неверный запрос.
• 401 Несанкционированный.
• 404 Не Найдено.
• 410 ушел.
• 429 Слишком много запросов.
• 500 - внутренняя ошибка сервера.
• 501 Не реализовано.
• сервис 503 недоступен.
• 550 В доступе отказано.

Специалисты по оптимизации движка Seach должны хорошо знать эти коды состояния и понимать цель, которой служит каждый код ответа. Кроме того, оптимизаторы должны понимать, как поисковые системы, такие как Google, обрабатывают эти коды состояния. Давайте посмотрим на некоторые из наиболее распространенных.

200 ОК

Давайте начнем с очевидного. Ответ 200 от веб-сервера означает, что запрос был успешным, что запрошенная веб-страница существует, и веб-сервер начнет отправлять эту страницу и связанные с ней ресурсы (изображения, файлы CSS и JS и т. Д.) Клиенту.

Этот код ответа очень прост. Часто дополнительные заголовки отправляются вместе с кодом ответа, который может повлиять на то, как поисковые системы обрабатывают URL. Мы рассмотрим их в разделе HTTP-заголовков ниже.

301 переехал навсегда

Код состояния 301 HTTP является одним из фаворитов индустрии SEO, поскольку он позволяет браузерам - и поисковым системам - знать, что веб-страница была заменена другой страницей, и изменение является постоянным. Для поисковых систем это сигнал, который им необходим для обновления своих индексов и связывания метрик ссылки старого URL с новым URL.

Количество значения ссылки из исходного URL-адреса, связанного с новым URL-адресом через 301-редирект, является предметом предположений, и Google дал противоречивые утверждения по этому поводу.

Я полагаю, что для перенаправления 301 применяется тот же коэффициент демпфирования PageRank, что и для ссылки - поэтому, когда страница A перенаправляет на страницу B, она имеет тот же эффект, что и на странице A, ссылающейся на страницу B.

В целом, 301 переадресация является важным инструментом в арсенале SEO и имеет широкий спектр полезных приложений, которые могут помочь сайту сохранить свои рейтинги или даже улучшить их.

302 переехал временно

Другой тип перенаправления - это код состояния HTTP 302, который указывает, что страница была временно заменена другим URL-адресом.

В краткосрочной перспективе это означает, что поисковые системы будут сохранять исходный URL-адрес в своем индексе, а пользователи отправляются на целевой URL-адрес перенаправления. В долгосрочной перспективе, однако, Google интерпретирует Перенаправление 302 как постоянное перенаправление 301 и начнет обрабатывать это соответственно.

Многие сайты используют перенаправления 302 для автоматического географического перенаправления, чтобы отправлять пользователям правильную версию своего контента для страны / языка. Хотя теоретически это может показаться нормальным, как правило, для этого не рекомендуется использовать перенаправления, поскольку это может означать, что поисковые системы, такие как Google, видят только версию контента сайта в одной стране.

Google сканирует в основном с американских IP-адресов, поэтому автоматическое перенаправление 302 для всего трафика в США означает, что Google будет видеть только американский контент сайта. Версии для других стран и языков будут фактически невидимы для Google, если вы не найдете способы сделать исключения для Googlebot.

304 не изменен

Код состояния HTTP 304 используется не так часто, как следовало бы. Этот код информирует браузеры и сканеры поисковых систем о том, что ресурс не изменился с момента последнего посещения. Это означает, что ресурс не нужно повторно отправлять через Интернет, и клиент может просто полагаться на версию ресурса, которая была кэширована.

Для больших веб-сайтов разумное применение 304 кодов состояния может помочь сэкономить много ресурсов сервера. Если вы предоставляете роботу Google 304 ресурсов, когда страница не обновлялась с момента последнего сканирования, страница (и все связанные с ней ресурсы) не должна создаваться или отправляться через Интернет, поэтому вы можете сохранить много Циклы центрального процессора (ЦП) и пропускная способность.

307 временный редирект

Код состояния 307 HTTP является немного ложным флагом. Время от времени мы видим это на веб-сайтах, которые обслуживаются по протоколу HTTPS и находятся в списке предварительной загрузки HSTS. Согласно проектам Chromium:

HSTS говорит браузеру всегда использовать HTTPS , HSTS поддерживается в Google Chrome, Firefox, Safari, Opera, Edt и Internet Explorer.

В основном, что происходит с 307, так это то, что браузер распознает запрос, направленный на http://website.com, вместо этого должен быть на http: //website.com и будет идти прямо туда.

Так что на самом деле это не код ответа HTTP; сервер сайта никогда не видит исходный запрос. Браузер сам выполняет это перенаправление, поскольку он знает (из-за списка предварительной загрузки HSTS), что рассматриваемый URL-адрес обслуживается по HTTPS, а не по HTTP. Google, PayPal, Twitter, Stripe, DropBox, Facebook и LastPass - некоторые из известных сайтов в предварительно загруженном списке HSTS.

Плагин Ayima Redirect Path покажет это соответственно:

404 не найдено и 410 пропало

В диапазоне 400 кодов состояния HTTP я хочу выделить два, поскольку они важны для SEO.

Первым и наиболее распространенным является код состояния HTTP 404 not found. Это означает, что URL-адрес не существует, и Google Search Console отобразит эти ошибки в отчете об ошибках сканирования сайта. Чаще всего 404 ответа являются результатом неправильной ссылки где-то на веб-сайте, которую Google обнаруживает, а затем пытается сканировать.

Сайт запустится обслуживает 404 не найденный HTTP-ответ на странице после его удаления. На мой взгляд, вы не должны допустить этого. Ошибка 404 указывает на случайную ошибку, ошибочно введенную ссылку где-то. Если с тех пор был удален URL-адрес, используемый для предоставления действительного контента, вы не должны показывать 404; Вы должны либо 301-перенаправить URL-адрес на действительную активную страницу, либо обслуживать 410 пропавших кодов состояния.

HTTP-ответ «410» - это «преднамеренный 404.» В ответе «410» вы говорите, что да, здесь раньше была страница, но она была удалена навсегда.

Поисковые системы трактуют 410-е иначе, чем 404-е. В то время как оба кода состояния отображаются в консоли поиска Google как «не найденные» ошибки, 410 является четким сигналом для Google, чтобы удалить этот URL из своего индекса. Хотя Google будет интерпретировать 404 как случайную ошибку и некоторое время будет сохранять URL, обслуживающий 404 в своем индексе, ответ 410 рассматривается как явный запрос на удаление этого URL из индекса Google.

Ниже приведено более старое видео от бывшего Гуглера Мэтта Каттса, в котором объясняется, как Google обрабатывает коды состояния 404 и 410, но его по-прежнему очень хорошо смотреть:

429 слишком много запросов

В ходе вашей SEO-карьеры вы столкнетесь с множеством кодов состояния 4XX HTTP, но лишь немногие будут так же раздражены, как ответ 429. Скорее всего, вы увидите этот код состояния HTTP, когда будете сканировать веб-сайт с помощью своего любимого инструмента SEO.

Ответ 429 указывает, что клиент сделал слишком много запросов за определенный период, и вместо правильного ответа URL вместо этого вы получите ответ 429. Это результат использования технологии ограничения скорости, которая предотвращает перегрузку веб-сайтов внешними запросами. Часто это также будет мешать сканированию на веб-сайте с помощью инструментов SEO, и вам может потребоваться попросить техническую команду веб-сайта сделать исключение для IP-адреса, который вы используете для сканирования сайта.

Некоторые технологии ограничения скорости также блокируют робота Google таким образом, что может иметь серьезные последствия для скорости и эффективности, с которой Google может сканировать сайт.

Это может быть трудно идентифицировать, так как Google не сообщает 429 ответов в консоли поиска. Если веб-сайт использует технологию ограничения скорости, всегда стоит дважды проверить, есть ли исключение для действительных сканирований робота Googlebot.

500 внутренняя ошибка сервера и 503 служба недоступна

Любой тип 5XX HTTP ответа указывает на какую-то проблему на стороне сервера. Это коды, которых следует избегать, насколько это возможно.

Они довольно распространены, особенно на крупных сайтах. Google сообщает об этих ошибках сервера в консоли поиска:

Для SEO влияние этих ошибок в первую очередь зависит от эффективности сканирования. Из-за серьезности этих ошибок, когда веб-сайт запускает ответы сервера типа 5XX, робот Googlebot снизит скорость, с которой он сканирует сайт, или даже полностью прекратит сканирование сайта, пока ошибки не исчезнут.

Таким образом, эти ошибки имеют тот же эффект, что и ответ 429, и могут влиять на скорость сканирования сайта. Результат может быть очевиден в задержках в получении нового или измененного контента, проиндексированного. Как правило, веб-сайт должен минимизировать количество 5XX HTTP-ответов, которые он обслуживает.

Если вам абсолютно необходимо отправить сообщение об ошибке 5XX, например, когда вы отключаете сайт для технического обслуживания, вы всегда должны использовать код состояния недоступный для службы 503 HTTP.

503 - это 500, а 410 - 404: это преднамеренный сигнал, поэтому сканеры, такие как Googlebot, знают, что вы целенаправленно отключили сайт.

Когда робот Googlebot видит 503, он замедляет скорость сканирования и не меняет статус вашей страницы в своем индексе. Вы можете спокойно обслуживать 503-е годы, пока вы работаете на своем сайте, не влияя на рейтинг вашего сайта в Google.

Только когда ошибка 503 сохраняется в течение длительного периода времени, Google начнет интерпретировать ее как постоянную ошибку и соответствующим образом обновит свой индекс.

Заголовки HTTP

Код состояния является лишь частью полного HTTP-ответа, который сервер отправляет клиенту. Дополнительная информация отправляется вместе с кодом статуса. Полный ответ кода состояния плюс дополнительная информация называется заголовком HTTP.

Этот заголовок может содержать инструкции, которые клиенты и поисковые системы могут использовать для правильной обработки URL.

Из-за расширяемой природы заголовков HTTP буквально нет предела тому, что может содержать полный ответ заголовка HTTP URL.

Давайте посмотрим на ряд важных элементов заголовка HTTP для SEO дальше.

Каноническая ссылка

Мы привыкли искать канонические теги в исходном коде языка разметки гипертекста (HTML) веб-страницы. Однако вы также можете отправить каноническую ссылку как часть HTTP-заголовка URL. Это полностью поддерживается Google и оказывает то же влияние, что и ссылка rel = canonical в исходном HTML-коде страницы.

Потому что это относительно легко реализовать rel = канонические теги в HTML страницы редко можно найти канонические ссылки, отправленные как часть HTTP-ответа страницы. Однако всегда стоит перепроверить HTTP-заголовки страницы на наличие канонических ссылок, особенно если вы видите на сайте необычные проблемы с индексацией и ранжированием.

Hreflang ссылки

Так же, как канонические ссылки, вы также можете включить ссылки hreflang в ответ HTTP-заголовка страницы. Ссылки Hreflang указывают, что страница имеет альтернативные версии для разных языков и / или стран , Обычно они включаются в исходный HTML-код страницы в заголовке или как часть XML-карты сайта.

Реализации Hreflang, использующие заголовки HTTP, редки, и лично я бы не рекомендовал это, так как это может быть очень сложно для устранения неполадок. Реализации с картами сайтов с расширяемым языком разметки (XML) наиболее просты в управлении, за ними следуют ссылки на HTML-ссылки.

Метатег Robots и X-Robots-Tag

Когда мы хотим дать указание поисковым системам не индексировать страницу, мы можем использовать для этого метатег robots. Этот метатег сообщает Googlebot и другим поисковым системам не индексировать страницу, а также не сканировать ссылки, включенные в страницу.

Этот метатег имеет ограничение: он может быть реализован только для URL, которые обслуживают веб-страницу.

Например, вы хотите убедиться, что все файлы PDF на вашем сайте не проиндексированы, но вы не можете использовать этот метатег, потому что он не работает с файлами PDF. Вместо этого вы можете использовать HTTP-заголовок X-Robots-Tag для отправки точно такого же сигнала.

Относительно просто настроить веб-сервер для отправки HTTP-заголовка X-Robots-Tag со значением «noindex» для всех файлов, заканчивающихся в PDF.

На веб-серверах Apache это всего лишь несколько строк кода для добавления в файл .htaccess сайта:

Поскольку заголовки HTTP X-Robots-Tag можно легко настроить для целых каталогов, это также может служить эффективным способом предотвращения индексации защищенными папками поисковыми системами.

В дополнение к «noindex» и «nofollow», вы можете предоставить несколько других Ответы X-Robots-Tag это влияет на то, как Google обрабатывает URL:

Кэш-контроль

Другой набор ответов HTTP-заголовков может влиять на то, как браузер кэширует страницу и связанные с ней ресурсы. Например, вы можете предоставить ответ «max-age», который сообщает браузеру, что через некоторое время страница должна быть повторно запрошена с сервера.

Заголовки контроля кэша в первую очередь влияет на субъективную (повторную) скорость загрузки страницы и не окажет большого влияния на то, как поисковые системы сканируют и индексируют страницу. Тем не менее, из-за важности скорости загрузки для SEO и юзабилити в целом, стоит ознакомиться с этими заголовками HTTP, чтобы убедиться, что вы можете дать точный и ценный совет клиенту, который хочет повысить скорость загрузки веб-сайта.

изменяться

Заголовок Vary HTTP служит для различных целей, связанных со сжатием, файлами cookie и мобильные сайты ,

Для использования с мобильными сайтами это особенно важно, когда сайт использует динамическое обслуживание для мобильных пользователей , чтобы служить конкретному Различный заголовок HTTP так, чтобы поисковые системы знали, как сканировать сайт с помощью сканеров как для настольных, так и для мобильных устройств. Этот специфический HTTP-заголовок Vary: User-Agent.

Этот заголовок HTTP сообщает роботу Google, что на сайте будет разный код для пользователей ПК и мобильных устройств. В результате Google будет сканировать сайт с обоими типами user-agent и определять, какая версия кода будет ранжироваться для какого типа пользователей.

HTTP заголовки для безопасности

Хотя это не имеет прямого отношения к SEO, помощь сайту в большей безопасности никогда не бывает плохой.

Заголовки HTTP также играют большую роль в безопасности, так как правильное использование правильных заголовков HTTP может сделать веб-сайт менее уязвимым для целого ряда потенциальных проблем безопасности.

Существуют десятки заголовков HTTP, которые служат целям безопасности, например:

• Строгий-Transport-Security.
• X-XSS-Protection.
• X-Content-Type.
• X-Frame-Options.

Мы только что поцарапали поверхность

Я предоставил небольшую выборку кодов состояния HTTP и заголовков HTTP. Если эта статья вызвала у вас интерес, у Интернета есть бесчисленные ресурсы для вас, чтобы узнать больше о протоколе HTTP и архитектуре веб-клиент-сервер, таких как:

Если вы хорошо разбираетесь в этом аспекте Интернета, это поможет вам стать более эффективным специалистом по поисковой оптимизации, а также хорошо послужит вам в других областях цифрового маркетинга.

В конце концов, то, что мы делаем, в основном сфокусировано на сети, так что лучшее понимание основополагающих технологий сети действительно весьма полезно.

Мнения, выраженные в этой статье, принадлежат автору гостя и не обязательно относятся к Search Engine Land. Штатные авторы перечислены Вот ,

Об авторе

Похожие

Комментарии