Robots.txt для WordPress

Приветствую всех владельцев сайтов на WordPress! Если вы хотите, чтобы ваш сайт был максимально дружелюбен для поисковых систем, то вам обязательно нужно правильно настроить файл robots.txt. Этот маленький файл может значительно повлиять на видимость вашего сайта в поисковой выдаче, помогая поисковым роботам лучше ориентироваться на вашем сайте.В этой статье мы не будем углубляться в теорию и рассказывать, что такое файл robots.txt. Вместо этого, я поделюсь с вами готовым примером файла robots.txt, специально адаптированным для сайтов на WordPress. Вы сможете просто скопировать и вставить его на ваш сайт.  

Как создать файл robots.txt

1. Создайте обычный текстовый документ (с окончанием .txt);
2. Назовите его "robots" и нажмите Enter (в результате у вас должен получиться файл вида robots.txt);
3. В данный файл скопируйте и вставьте правила, которые прописаны ниже ⏬
4. Загрузите готовый файл в корень сайта.

Помните, что файл должен называться именно robots.txt, иначе поисковые системы его не распознают и не смогут использовать указанные инструкции

Подробный файл (отдельные правила для Google и Яндекс)

User-agent: *                                                  # Общие правила для всех роботов, кроме тех, которые указаны ниже

Disallow: /wp-

Disallow: /wp/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /*orderby

Disallow: /cgi-bin                                           # Папка на хостинге

Disallow: /wp-admin

Disallow: *preview_id

Disallow: */feed                                            # все фиды (нужны больше для Яндекс)

Disallow: */rss                                               # rss фид (нужны больше для Яндекс)

Disallow: */wp-json/

Disallow: */wlwmanifest.xml

Disallow: /xmlrpc.php

Disallow: *product_view=

Disallow: *yandex-source=

Disallow: *preview=                                      # Просмотр страницы из административной панели

Disallow: /*view_result=                              # Страницы с параметром просмотра

Disallow: *escaped_fragment

Disallow: *debug=

Disallow: *semalt_com

Disallow: *back=

Disallow: *page_id=

Disallow: *type=                                            # Страницы с типами статей

Disallow: *unapproved=

Disallow: *customize_changeset*

Disallow: *s=                                                 # Закрывает результаты поиска

Disallow: /search/                                        # Закрывает результаты поиска

Disallow: */trackback               # трекбеки, уведомления в комментариях о появлении открытой ссылки на статью

Disallow: *v=

Disallow: /access.log

Disallow: /plugins

Disallow: *attachment_id=*                        # Мусорные страницы attachment (рекомендую вовсе их удалять)

Disallow: /*add-to-cart=*                            # URL после добавления товара в корзину

Disallow: /*attribute*

Disallow: /cart/*                                         # Корзина v1

Disallow: *checkout                                  # Корзина v2

Disallow: /korzina/*                                   # Корзина v3

Disallow: /rpjou/*

Disallow: /blnoer/*

Disallow: /*my-account                            # Личный кабинет

Disallow: *ordr=                                       # Сортировка по дате добавления

Disallow: *openstat=                               # Закрывает страницы с метками Openstat

Disallow: *ref=                                         # Реферальные ссылки

Disallow: *utm*=                                     # Ссылки с utm-метками

Disallow: *etext=                                    # Рекламная метка

Disallow: *fbclid=                                   # UML-метка (переходы на страницу из Facebook)

Disallow: *source=

Disallow: /*from*

Disallow: /*gclid*                                   # Ссылки с метками

Disallow: /*yclid*                                   # Ссылки с метками

Disallow: */amp                                    # Закрываем все AMP страницы (нужны только для Google)

Disallow: *amp=                                   # Закрытие 2-го варианта реализации AMP страниц

Allow: /wp-admin/*.php

Allow: /wp-content/*.css                     # открываем js-скрипты

Allow: /wp-content/*.js                       # открываем css-файлы

Allow: /wp-content/*.png                   # открываем png картинки

Allow: /wp-content/*.jpg                    # открываем jpg картинки

Allow: /wp-content/*.gif                     # открываем гифки

Allow: /wp-content/*.pdf                   # открываем pdf файлы

User-agent: GoogleBot                    #Правила только для робота Google

Disallow: /wp-

Disallow: /wp/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /*orderby

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: *preview_id

Disallow: */feed

Disallow: */rss

Disallow: */wp-json/

Disallow: */wlwmanifest.xml

Disallow: /xmlrpc.php

Disallow: *back=

Disallow: *page_id=

Disallow: *type=

Disallow: *unapproved=

Disallow: *customize_changeset*

Disallow: *s=

Disallow: /search/

Disallow: */trackback

Disallow: *v=

Disallow: /access.log

Disallow: /plugins

Disallow: /*?attribute*

Disallow: /cart/*

Disallow: *checkout

Disallow: /korzina/*

Disallow: *product_view=

Disallow: *yandex-source=

Disallow: *ref=

Disallow: *preview=

Разместите
тендер бесплатно

Наша система сама подберет вам исполнителей на услуги, связанные с разработкой сайта или приложения, поисковой оптимизацией, контекстной рекламой, маркетингом, SMM и PR.

Заполнить заявку 13203 тендера
проведено за восемь лет работы нашего сайта.

Disallow: *escaped_fragment

Disallow: *debug=

Disallow: /*my-account

Disallow: *ordr=

Disallow: *openstat=

Disallow: /*utm*

Disallow: *etext=

Disallow: *fbclid=

Disallow: *source=

Disallow: /*from*

Disallow: /*gclid*

Disallow: /*yclid*

Allow: */amp                                          #Разрешаем гуглу сканировать AMP страницы

Allow: *amp=

Allow: /wp-admin/*.php

Allow: /wp-content/*.css

Allow: /wp-content/*.js

Allow: /wp-content/*.png

Allow: /wp-content/*.jpg

Allow: /wp-content/*.gif

Allow: /wp-content/*.pdf

User-agent: Yandex                           #Правила только для робота Яндекс

Disallow: /wp-

Disallow: /wp/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /*orderby

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: *preview_id

Disallow: */wp-json/

Disallow: */wlwmanifest.xml

Disallow: /xmlrpc.php

Disallow: *product_view=

Disallow: *yandex-source=

Disallow: *ref=

Disallow: *preview=

Disallow: *escaped_fragment

Disallow: *debug=

Disallow: *semalt_com

Disallow: *back=

Disallow: *page_id=

Disallow: *type=

Disallow: *unapproved=

Disallow: *customize_changeset*

Disallow: *s=

Disallow: /search/

Disallow: */trackback

Disallow: *v=

Disallow: /access.log

Disallow: /plugins

Disallow: *?attachment_id=*

Disallow: /*?*add-to-cart=*

Disallow: /*?attribute*

Disallow: /cart/*

Disallow: *checkout

Disallow: /korzina/*

Disallow: /rpjou/*

Disallow: /blnoer/*

Disallow: /*my-account

Disallow: *ordr=

Disallow: *openstat=

Disallow: /*utm*

Disallow: *fbclid=

Disallow: *etext=

Disallow: *source=

Disallow: /*from*

Disallow: /*gclid*

Disallow: /*yclid*

Disallow: */amp

Disallow: *amp=

Allow: /wp-admin/*.php

Allow: /wp-content/*.css

Allow: /wp-content/*.js

Allow: /wp-content/*.png

Allow: /wp-content/*.jpg

Allow: /wp-content/*.gif

Allow: /wp-content/*.pdf

Sitemap: https://site.com/sitemap.xml       # Укажите ссылку на вашу карту сайта в формате xml

Где находится robots.txt WordPress

В WordPress файл robots.txt обычно находится в корневой директории сайта, где расположены такие файлы, как wp-config.php и index.php. Если используется плагин для SEO (например Yoast SEO), то файл может быть сгенерирован плагином и управляться через его настройки.

Для проверки файла можно перейти по адресу https://site.com/robots.txt (site.com замените на свой домен) в браузере или найти его через FTP/файловый менеджер (обычно в папке public.html. Если файл отсутствует, его нужно создать и загрузить в корневую директорию.

Не допускайте эти ошибки!

В robots.txt не должно быть 2 одинаковых User-Agent

Встречал роботсы в которых было сразу два User-Agent: *. Ошибка заключается в том, что поисковые роботы не понимают какому правилу следовать и могут и вовсе игнорировать ваш файл. Обычно такая ошибка сразу показывается в Яндекс Вебмастер, поэтому её сложно упустить.

Прописывать Sitemap после каждого User-agent

Согласно стандарту, Sitemap нужно указывать всего один раз в конце файла robots.txt.

Использовать правила только для User-agent: *

Так как для Яндекс rss и feed должны быть открыты, но закрыты для остальных поисковых систем, а для Google обязательно нужно открывать AMP страницы, но закрывать для остальных поисковых систем. Поэтому без отдельных правил не обойтись!

Прописывать Crawl-Delay

Это популярное правило, но использовать его стоит только при необходимости. Если ваш сайт небольшой и визиты роботов не создают большой нагрузки на сервер, то нет смысла ограничивать время их посещения просто так.

Добавлять директиву host

Уже давно было анонсировано, что директива host в файле больше не нужна. Если вам нужно указать основной домен, то всё это делается в панелях Вебмастеров.

Информация взята с сайта  https://seo-personal.ru/blog/robots-txt-for-wordpress/