Как создать файл robots.txt для WordPress
Приветствую, друзья! В этом уроке мы поговорим о создании файла robots.txt, который показывает роботам поисковых систем, какие разделы Вашего сайта нужно посещать, а какие нет.
Фактически, с помощью этого служебного файла можно указать, какие разделы будут индексироваться в поисковых системах, а какие нет.
Создание файла robots.txt
1. Создайте обычный текстовый файл с названием robots в формате .txt.
2. Добавьте в него следующую информацию :
User-agent: YandexDisallow: /wp-adminDisallow: /wp-includesDisallow: /wp-commentsDisallow: /wp-content/pluginsDisallow: /wp-content/themesDisallow: /wp-content/cacheDisallow: /wp-login.phpDisallow: /wp-register.phpDisallow: */trackbackDisallow: */feedDisallow: /cgi-binDisallow: /tmp/Disallow: *?s=User-agent: *Disallow: /wp-adminDisallow: /wp-includesDisallow: /wp-commentsDisallow: /wp-content/pluginsDisallow: /wp-content/themesDisallow: /wp-content/cacheDisallow: /wp-login.phpDisallow: /wp-register.phpDisallow: */trackbackDisallow: */feedDisallow: /cgi-binDisallow: /tmp/Disallow: *?s=Host: site.comSitemap: http://site.com/sitemap.xml3. Замените в в текстовом файле строчку site.com на адрес Вашего сайта.
4. Сохраните изменения и загрузите файл robots.txt (с помощью FTP) в корневую папку Вашего сайта.
5. Готово.
Разбираемся в файле robots.txt (директивы)
Давайте теперь более детально разберем, что именно и зачем мы добавили в файл robots.txt.
User-agent — директива, которая используется для указания названия поискового робота. С помощью этой директивы можно запретить или разрешить поисковым роботам посещать Ваш сайт. Примеры:
Запрещаем роботу Яндекса просматривать папку с кэшем:
User-agent: Yandex
Disallow: /wp-content/cache
Разрешаем роботу Bing просматривать папку themes (с темами сайта):
User-agent: bingbot
Allow: /wp-content/themesAllow и Disallow — разрешающая и запрещающая директива. Примеры:
Разрешим боту Яндекса просматривать папку wp-admin:
User-agent: YandexAllow: /wp-adminЗапретим всем ботам просматривать папку wp-content:
User-agent: *Disallow: /wp-contentВ нашем robots.txt мы не используем директиву Allow, так как всё, что не запрещено боту с помощью Disallow — по умолчанию будет разрешено.
Host — директива, с помощью которой нужно указать главное зеркало сайта, которое и будет индексироваться роботом.
Sitemap — используя эту директиву, нужно указать путь к карте сайта. Напомню, что карта сайта является очень важным инструментом при продвижении сайта! Обязательно указывайте её в этой директиве!
Если остались какие-то вопросы — задавайте их в комментарий. Если же информации в этом уроке для Вас оказалось недостаточно, рекомендую почитать подробнее о всех директивах и способах их использования перейдя по этой ссылке.