Php RegExp Вытащить robots.txt и проверить разрешен ли URL
Дмитрий16 років у сервісі
Дані замовника будуть вам доступні після подання заявки
27.06.2018
Сделать функции - на входе $robots_str и $url, на выходе нужны вывести 0 - запрещена или 1 - разрешена, сделать пример работы