Php RegExp Вытащить robots.txt и проверить разрешен ли URL
Дмитрий16 лет в сервисе
Данные заказчика будут вам доступны после подачи заявки
27.06.2018
Сделать функции - на входе $robots_str и $url, на выходе нужны вывести 0 - запрещена или 1 - разрешена, сделать пример работы