Файл robots.txt в DataLife Engine
Краткое объяснение назначения файла robots.txt в DataLife Engine и базовых правил, которые стоит проверить перед публикацией.
Модуль Вопрос-Ответ 2.7.1 (F.A.Q.) для DataLife Engine
Назначение модуля Вопрос-Ответ 2.7.1 для DataLife Engine, его типовые возможности, порядок проверки на локальной копии движка и ограничения известных сведений.
Назначение файла robots.txt
Файл robots.txt сообщает поисковым роботам, какие разделы сайта разрешено индексировать. В DLE он обычно создаётся автоматически при установке, но после переноса или смены настроек его содержимое стоит сверить с реальной структурой. Достаточно убедиться, что закрыты административная панель и служебные каталоги, а остальной контент доступен для обхода.
Практическая проверка
Откройте robots.txt в браузере и сравните перечисленные директивы с адресами, которые вы хотите скрыть. Если файл отсутствует или содержит устаревшие записи, создайте его заново, указывая только конкретные пути. Изменения вступают в силу после следующего визита робота, поэтому не ждите мгновенного результата.