Скрипт разбора robots.txt
Дмитрий16 лет в сервисе
Данные заказчика будут вам доступны после подачи заявки
29.09.2013
Разобрать robots.txt в корне указанного сайта и определить разрешена ли указанная страница к индексации для поисковой системы Yandex|Google|*? Предпочтительно C#.