Отрегулировать robots.txt
Александр11 років у сервісі
Дані замовника будуть вам доступні після подання заявки
24.11.2013
На моем сайте - www.fazenda-box.ru (версия DLE № 9) с ноября прослеживается такая статистика:
- загружено роботом 2141 страниц
- страниц в поиске 1381 страница
- исключено роботом 729 страниц
Из исключённых страниц:
- Документ имеет размер 0 байт - 1 страница
- HTTP-статус: Ресурс не найден (404) - 38 страниц
- Документ запрещен в файле robots.txt - 689 страниц
- Неверный формат документа - 1 страница
Хотел бы найти того, кто знает, как отрегулировать robots.txt, и вернуть все страницы в поиск.