Файл robots.txt на сайте DLE
Краткая справка о файле robots.txt для сайта на DataLife Engine и о том, как проверить его влияние на индексацию.
Модуль Вопрос-Ответ 2.7.1 (F.A.Q.) для DataLife Engine
Назначение модуля Вопрос-Ответ 2.7.1 для DataLife Engine, его типовые возможности, порядок проверки на локальной копии движка и ограничения известных сведений.
Назначение файла robots.txt
Файл robots.txt лежит в корне сайта и сообщает поисковым роботам, какие разделы разрешено или запрещено посещать. Для движка DLE он полезен, когда вы хотите скрыть админскую панель, корзину или тестовые страницы от индексации, не удаляя их из каталога. Записи вида Disallow: /admin/ читаются роботом как прямой запрет на вход в этот путь.
Практическая проверка
Чтобы убедиться, что файл работает, откройте его по адресу вашего сайта и сравните правила с тем, что вы хотите закрыть. Затем запросите страницу в режиме просмотра поисковой системы или дождитесь обновления каталога. Если страница исчезла из выдачи, правило сработало; если осталась, проверьте синтаксис и отсутствие лишних пробелов в строках.