Все возможные методы закрытия сайта от индексации

132

На этапе разработки сайта, редизайна или работы с тестовыми версиями особенно важно предотвратить попадание незавершённого или временного контента в поиск. Чтобы этого избежать, на 100% существует несколько эффективных методов, которые я разобрал в этой статье. Ниже вы узнаете как и когда применять каждый из них, чтобы защитить ваш и не дать роботам зайти на него.

Как закрыть сайт от индексации

Запрет индексации в robots.txt

robots.txt– текстовый файл, расположенный в корневой директории сайта, который говорит поисковым системам (далее ПС) о том, какие файлы и папки нельзя сканировать (посещать их). С его помощью можно запретить обход всего сайта, отдельных страниц или файлов.

Robots.txt – это лишь рекомендация и часто краулеры ПС могут игнорировать этот файл.

Чтобы проверить наличие файла на сайте введите в браузере https://example.com/robots.txt (заменив example.com на адрес вашего сайта). Если файл существует, вы увидите его содержимое.

Все возможные методы закрытия сайта от индексации

Если файла нет, то создайте его, используя текстовый редактор, после подключитесь к вашему серверу через FTP-клиент (видеоинструкция по работе →) или через файловый менеджер панели управления хостинга и добавьте файл robots.txt в корневую директорию сайта (обычно это public_html или www). Если вы не хотите, чтобы поисковые системы сканировали ваш сайт, то добавьте в файл правило ниже.

Закрытие сайта только в robots.txt помогает лишь на 30%, поэтому для полноценного закрытия сайта используйте дополнительно методы ниже!

Закрываем сайт через .htaccess

Файл .htaccess используется для настройки поведения веб-сервера Apache. С его помощью мы закроем доступ к сайту так, что роботам будет показываться код ответа 403.

1. Продолжая находиться в корневой директории сайта после редактирования robots.txt найдите файл .htaccess (не перепутайте названия). Если файл отсутствует, создайте его с помощью программы Notepad или Visual Studio Code и сохраните под именем .htaccess (обязательно с точкой в начале).

Разместите
тендер бесплатно

Наша система сама подберет вам исполнителей на услуги, связанные с разработкой сайта или приложения, поисковой оптимизацией, контекстной рекламой, маркетингом, SMM и PR.

Заполнить заявку 12583 тендера
проведено за восемь лет работы нашего сайта.

Важные замечания:

Всегда делайте резервную копию оригинального файла .htaccess перед внесением изменений.
Если что-то пошло не так (например, сайт перестал работать), удалите или закомментируйте новые строки, добавив перед ними #.

2. Добавьте правила для закрытия сайта вставив следующие строки в самое начало файла .htaccess. Важно добавить именно в начало файла, так как сервер обрабатывает правила сверху вниз.

Что делает этот код:

SetEnvIfNoCase User-Agent — определяет, какие боты будут заблокированы (например, googlebot, yandex, bingbot), указанные после данного правила.
Deny from env=search_robot — запрещает доступ ко всему сайту для агентов, попадающих под правило search_robot.

После добавления правил в файл обязательно проверьте какой код ответа получают роботы Яндекс и Google, для этого используйте сервис Bertal (как пользоваться программой →). Если вы всё сделали правильно, то вам отобразится 403 ответ (доступ к запрошенному ресурсу запрещён).