При создании и продвижении сайта на платформе 1C-Битрикс, важным шагом является настройка файла robots.txt. Этот небольшой, но крайне значимый файл помогает поисковым системам правильно индексировать ваш сайт, исключая ненужные страницы из индекса и ускоряя процесс продвижения.
И избежать вот такой картины на своем сайте
В этой статье мы рассмотрим готовый вариант robots.txt, оптимизированный для сайтов на 1C-Битрикс. Мы разберем его структуру и объясним, почему именно такой файл обеспечит безопасность сайта и улучшит его видимость в поисковых системах.
User-Agent: *
Disallow: /cgi-bin # папка на хостинге
Disallow: /basket # корзина
Disallow: /bitrix/ # папка с системными файлами битрикс
Disallow: *bitrix_*= # GET-запросы битрикса
Disallow: /local/ # папка с системными файлами битрикс
Disallow: /test/ # тестовая страница
Disallow: /*index.php$ # дубли страниц index.php
Disallow: /auth # авторизация
Disallow: /personal/ # личный кабинет
Disallow: /*order # корзина
Disallow: *register= # регистрация
Disallow: *forgot_password= # забыли пароль
Disallow: *change_password= # изменить пароль
Disallow: /*login= # логин
Disallow: *logout= # выход
Disallow: */search/ # поиск
Disallow: *display= # страницы сортировки
Disallow: *linerow= # вид расположения товаров
Disallow: *year= # страницы статей по годам
Disallow: *action= # действия
Disallow: *alfaction= # сортировка
Disallow: *print= # печать
Disallow: *?new=Y # новая страница
Disallow: *?edit= # редактирование
Disallow: *?preview= # предпросмотр
Disallow: *backurl= # трекбеки
Disallow: *back_url= # трекбеки
Disallow: *back_url_admin= # трекбеки
Disallow: *captcha # каптча
Disallow: *?FILTER*= # здесь и ниже различные популярные параметры фильтров
Disallow: *?arrFilter*
Disallow: *set_filter=
Disallow: *oid=* # GET-параметр, который может быть у ссылок на товары
Disallow: *?ei=
Disallow: *id=
Disallow: *?p=
Disallow: *?q=
Disallow: *?tags=
Disallow: *brand=
Disallow: *clear_cache*
Disallow: *element_id=
Disallow: *different=
Disallow: *price_from=
Disallow: *price_to=
Disallow: /*type=
Disallow: *property_width=
Disallow: *property_height=
Disallow: *property_dia=
Disallow: *property_opening_count=
Disallow: *property_price[*]=
Disallow: *s_last=
Disallow: *section_id=
Disallow: *section[*]=
Disallow: /*show_
Disallow: *showall=
Disallow: *show_all=
Disallow: *showby=
Disallow: /*add_to_*
Disallow: *sort= # Страница сортировки
Disallow: *?action_ccr=
Disallow: *sphrase_id=
Disallow: *etext=
Disallow: *utm*= # ссылки с utm-метками
Disallow: *openstat= # ссылки с метками openstat
Disallow: *from= # ссылки с метками from
Disallow: *gclid=
Disallow: *yclid=
Disallow: */apply/
Disallow: */feed # все фиды (нужны больше для Яндекс)
Disallow: */rss # rss фид (нужны больше для Яндекс)
Disallow: *orderby=
Disallow: *taxonomy=
Disallow: *private=
Disallow: */amp # Закрываем все AMP страницы (нужны только для Google)
Disallow: *amp= # Закрытие 2-го варианта реализации AMP страниц
Allow: */upload/ # открываем папку с файлами uploads
Allow: /bitrix/*.js # открываем скрипты вида /js/jquery.countdown.min.js?16
Allow: /local/*.js # открываем скрипты
Allow: /bitrix/*.css
Allow: /local/*.jpg
Allow: /local/*.jpeg
Allow: /local/*.png
Allow: /local/*.gif
Allow: /local/*.webp
Allow: /local/*.svg
Allow: /local/*.pdf
Allow: /local/*.ttf
Allow: /local/*.woff
User-agent: GoogleBot #Правила только для робота Google
Disallow: /cgi-bin
Disallow: /basket
Disallow: /bitrix/
Disallow: *bitrix_*=
Disallow: /local/
Disallow: /test/
Disallow: /*index.php$
Disallow: /auth
Disallow: /personal/=
Disallow: /*order
Disallow: *register=
Disallow: *forgot_password=
Disallow: *change_password=
Disallow: /*login=
Disallow: *logout=
Disallow: */search/
Disallow: *display=
Disallow: *linerow=
Disallow: *year=
Disallow: *action=
Disallow: *alfaction=
Disallow: *print=
Disallow: *?new=Y
Disallow: *?edit=
Disallow: *?preview=
Disallow: *backurl=
Disallow: *back_url=
Disallow: *back_url_admin=
Disallow: *captcha
Disallow: *?FILTER*=
Disallow: *?arrFilter*
Disallow: *set_filter=
Disallow: *oid=*
Disallow: *?ei=
Disallow: *id=
Disallow: *?p=
Disallow: *?q=
Disallow: *?tags=
Disallow: *brand=
Disallow: *clear_cache*
Disallow: *element_id=
Disallow: *different=
Disallow: *price_from=
Disallow: *price_to=
Disallow: /*type=
Disallow: *property_width=
Disallow: *property_height=
Disallow: *property_dia=
Наша система сама подберет вам исполнителей на услуги, связанные с разработкой сайта или приложения, поисковой оптимизацией, контекстной рекламой, маркетингом, SMM и PR.
Заполнить заявку
12254 тендера
проведено за восемь лет работы нашего сайта.
Disallow: *property_opening_count=
Disallow: *property_price[*]=
Disallow: *s_last=
Disallow: *section_id=
Disallow: *section[*]=
Disallow: /*show_
Disallow: *showall=
Disallow: *show_all=
Disallow: *showby=
Disallow: /*add_to_*
Disallow: *sort=
Disallow: *?action_ccr=
Disallow: *sphrase_id=
Disallow: *etext=
Disallow: *utm*=
Disallow: *openstat=
Disallow: *from=
Disallow: *gclid=
Disallow: *yclid=
Disallow: */apply/
Disallow: */feed
Disallow: */rss
Disallow: *orderby=
Disallow: *taxonomy=
Disallow: *private=
Allow: */upload/
Allow: /bitrix/*.js
Allow: /local/*.js
Allow: /bitrix/*.css
Allow: /local/*.jpg
Allow: /local/*.jpeg
Allow: /local/*.png
Allow: /local/*.gif
Allow: /local/*.webp
Allow: /local/*.svg
Allow: /local/*.pdf
Allow: /local/*.ttf
Allow: /local/*.woff
User-agent: Yandex #Правила только для робота Яндекс
Disallow: /cgi-bin
Disallow: /basket
Disallow: /bitrix/
Disallow: *bitrix_*=
Disallow: /local/
Disallow: /test/
Disallow: /*index.php$
Disallow: /auth
Disallow: /personal/
Disallow: /*order
Disallow: *register=
Disallow: *forgot_password=
Disallow: *change_password=
Disallow: /*login=
Disallow: *logout=
Disallow: */search/
Disallow: *display=
Disallow: *linerow=
Disallow: *year=
Disallow: *action=
Disallow: *alfaction=
Disallow: *print=
Disallow: *?new=Y
Disallow: *?edit=
Disallow: *?preview=
Disallow: *backurl=
Disallow: *back_url=
Disallow: *back_url_admin=
Disallow: *captcha
Disallow: *?FILTER*=
Disallow: *?arrFilter*
Disallow: *set_filter=
Disallow: *oid=*
Disallow: *?ei=
Disallow: *id=
Disallow: *?p=
Disallow: *?q=
Disallow: *?tags=
Disallow: *brand=
Disallow: *clear_cache*
Disallow: *element_id=
Disallow: *different=
Disallow: *price_from=
Disallow: *price_to=
Disallow: /*type=
Disallow: *property_width=
Disallow: *property_height=
Disallow: *property_dia=
Disallow: *property_opening_count=
Disallow: *property_price[*]=
Disallow: *s_last=
Disallow: *section_id=
Disallow: *section[*]=
Disallow: /*show_
Disallow: *showall=
Disallow: *show_all=
Disallow: *showby=
Disallow: /*add_to_*
Disallow: *sort=
Disallow: *?action_ccr=
Disallow: *sphrase_id=
Disallow: *etext=
Disallow: *utm*=
Disallow: *openstat=
Disallow: *from=
Disallow: *gclid=
Disallow: *yclid=
Disallow: */apply/
Disallow: *orderby=
Disallow: *taxonomy=
Disallow: *private=
Disallow: */amp
Disallow: *amp=
Allow: */upload/
Allow: /bitrix/*.js
Allow: /local/*.js
Allow: /bitrix/*.css
Allow: /local/*.jpg
Allow: /local/*.jpeg
Allow: /local/*.png
Allow: /local/*.gif
Allow: /local/*.webp
Allow: /local/*.svg
Allow: /local/*.pdf
Allow: /local/*.ttf
Allow: /local/*.woff
Sitemap: https://site.com/sitemap.xml # Укажите ссылку на вашу карту сайта в формате xml
1. Прописывать Sitemap после каждого User-agent
Согласно стандарту, Sitemap нужно указывать всего один раз в конце файла robots.txt.
2. Использовать правила только для User-agent: *
Так как для Яндекс rss и feed должны быть открыты, но закрыты для остальных поисковых систем, а для Google обязательно нужно открывать AMP страницы, но закрывать для остальных поисковых систем. Поэтому без отдельных правил не обойтись!
3. Прописывать Crawl-Delay
Это популярное правило, но использовать его стоит только при необходимости. Если ваш сайт небольшой и визиты роботов не создают большой нагрузки на сервер, то нет смысла ограничивать время их посещения просто так.
4. Добавлять директиву host
Уже давно было анонсировано, что директива host в файле больше не нужна. Если вам нужно указать основной домен, то всё это делается в панелях Вебмастеров.
После того как вы настроили файл robots.txt для сайта на 1C-Битрикс, важно убедиться, что он работает правильно и не блокирует важные страницы для индексации поисковыми системами. Для этого следуйте следующим рекомендациям:
Для проверки robots.txt для Google: зайдите в Google Search Console → Перейдите в раздел "Инструменты и отчеты" → "Файл robots.txt" → Введите URL страницы, которую хотите проверить, и убедитесь, что она либо допускается к индексации, либо правильно блокируется
Для проверки Яндексботом: заходим в Яндекс.Вебмастер → перейдите в раздел "Анализ robots.txt" → Проверьте, как робот Яндекса видит ваш файл и страницы, которые подлежат индексации
Если после проверки robots.txt через панели вебмастеров поисковых систем не возникает ошибок и важные страницы допускаются к индексации, файл настроен корректно.
