Дмитрий@andrush16 лет в сервисе28.06.2018php RegExp Вытащить robots.txt и проверить разрешен ли URL5 из 5Шерзод отлично справился с работой! Рекомендую!
