Alekzo 
Тендеры и лиды
Информация
«Пробовал заменить файл robots.txt через FTP и административную панель — всё меняется, проблем нет. Но когда проверяю файл на сайте (вида site.ru/robots.txt), то отображается другой файл. В чем может быть проблема?»
Несмотря на то, что файл robots.txt в 1C-Битрикс может быть изменен или загружен через FTP или административную панель, на сайте продолжает отображаться старая версия файла или вовсе какой-то непонятный контент. Даже в случаях, когда файл удаляется полностью из корневой директории сайта, при переходе по адресу /robots.txt он продолжает быть доступен с прежним содержимым. Это редкая проблема, которая очень легко решается. Ниже — 3 способа, которые смогут помочь.
Наша система сама подберет вам исполнителей на услуги, связанные с разработкой сайта или приложения, поисковой оптимизацией, контекстной рекламой, маркетингом, SMM и PR.
Заполнить заявку
13802 тендера
проведено за восемь лет работы нашего сайта.
Если вы внесли изменения на сайт на CMS 1C-Битрикс, но они отображаются только при просмотре сайта в административной панели (т.е. если открыть сайт в режиме инкогнито, то всё будет по-старому), то нужно очистить кеш:
Заходим в административную панель сайта.
Переходим в «Настройки» → «Настройки продукта» → «Автокеширование».
Выбираем таб «Очистка файлов кеша».
Выбираем «Все».
Нажимаем «Начать».
Если вариант выше не сработал, то вам подходят варианты 2 и 3. Найдите в корневой папке файл robots.php, сохраните его себе и удалите из корня сайта.
Это может помочь, так как robots.php часто используется для динамической генерации содержимого файла, что может мешать корректной работе статического robots.txt.
Однако стоит учитывать, что удаление robots.php приведет к отключению динамической настройки индексации, что важно для сайтов с региональными версиями или поддоменами. Этот способ подойдет, если у вас нет необходимости в таких настройках и сайт не использует поддомены для разных регионов.
Если же вы хотите сделать все правильно и избежать проблем в будущем, лучше применить метод №3.
Подобные «невидимые» проблемы с robots.txt часто всплывают только при аудите сайта: владелец уверен, что файл давно обновлён, а поисковые роботы всё это время получают старые правила.
Для корректной работы .txt-файла на сайте, не удаляя файл .php, можно внести изменения в сам .php-файл, который управляет динамической генерацией правил для поисковых систем. Для этого:
1. Откройте файл robots.php и найдите строку, где задается путь к файлу robots.txt. Обычно это выглядит так:
{$hostname} — динамически подставляет имя текущего хоста (домена) и определяет, какой файл robots.txt будет использоваться для конкретного домена или поддомена.
2. Перейдите в указанную директорию, например, /aspro_regions/robots/;
3. Найдите в ней файл, соответствующий вашему основному сайту, например, robots_example.com.txt;
4. Откройте этот файл и внесите туда необходимые правила;
5. После того как вы внесете изменения и сохраните файл, при запросе robots.txt на вашем сайте будет отображаться именно тот файл, который вы изменили.
Таким образом, вы можете сохранить гибкость настройки для разных доменов и поддоменов, не теряя контроля над основным robots.txt.
Чтобы такие ситуации не повторялись после обновлений шаблона или модулей, изменения в служебных файлах стоит фиксировать и проверять — это входит в регулярную техническую поддержку сайта.
Источник: блог Андрея Павловича, seo-personal.ru
