Скрипт разбора robots.txt
Дмитрий16 років у сервісі
Дані замовника будуть вам доступні після подання заявки
29.09.2013
Разобрать robots.txt в корне указанного сайта и определить разрешена ли указанная страница к индексации для поисковой системы Yandex|Google|*? Предпочтительно C#.