Приветствую вас друзья! Сегодня темой статьи является файл Robots.txt для сайта, ведь он очень важен при оптимизации сайта для поисковых систем. Важно настроить файл Robots.txt правильно, так как это может влиять на трафик из поисковиков.
В случае если вы настроили robots.txt не правильно, то ваш сайт может не правильно проходить индексацию и некоторые страницы даже не попадут в поиск, или попадут те которые не должны.
Читайте также: Сколько зарабатывает Владимир Путин — Такие цифры Вы еще не видели!
Что такое файл Robots.txt и что он делает?
Robots.txt — файл, в котором можно прописать правила для поисковых систем. Делается это для настройки отображения некоторых страниц в поиске. Например, вы можете закрыть страницу с помощью которой вы входите в админ панель. Ведь было бы странно наблюдать её в поиске, не так ли?
Стандартный файл robots.txt в WordPress:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
Этот файл в WordPress может создаваться либо в ручную вами или с помощью плагинов таких как Yoast SEO. Иногда этого недостаточно, поэтому настройку файла robots.txt нужно делать обязательно, ведь тогда индексация будет быстрее и лишь по важным и нужным страницам.
Посмотрите ролик ниже, чтобы ознакомиться с различными правилами для редактирования файла robots.txt.
Стандартный Robots.txt в WordPress
Это стандартная версия правил для нормальной настройки файла Robots.txt, чтобы индексация проходила лишь по ключевым страницам и постам. Это хороший вариант, благодаря которому у вашего сайта будет нормальная индексация.
User-agent: * Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-json/ Disallow: /xmlrpc.php Disallow: /readme.html Disallow: /*? Disallow: /?s= Allow: /wp-includes/*.css Allow: /wp-includes/*.js Allow: /wp-content/plugins/*.css Allow: /wp-content/plugins/*.js Allow: /*.css Allow: /*.js Sitemap: https://site.ru/sitemap.xml
Расширенный и Правильный Robots.txt для WordPress
Расширенный Robots.txt для Вордпресс тоже существует, ведь вся структура сайтов на WP одинаковая на всех сайтах, на моём и вашем, следовательно у разработчиков больше возможностей для настройки роботс.тхт, благодаря чему индексация сайта улучшится.
Как выглядит правильный Robots.txt для сайта на WordPress:
User-agent: * # Для всех поисковых систем, кроме Яндекса и Гугла Disallow: /cgi-bin Disallow: /? Disallow: /wp- Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */rss Disallow: */embed Disallow: /xmlrpc.php Disallow: *utm= Disallow: *openstat= Disallow: /tag/ # Закрываем метки Disallow: /readme.html # Закрываем бесполезный мануал по установке WordPress (лежит в корне) Disallow: *?replytocom Allow: */uploads
Заключение
Время подвести итоги, надеюсь вы настроили свой файл Robots.txt для вашего сайта на WordPress и благодаря этому индексация сайта будет намного лучше чем была до этого. Вам лишь нужно скопировать выше правильный robots.txt и добавить в свой и забыть об этом раз и навсегда!
