Понять, почему через браузер страница открывается, а через curl - нет

Веб-программированиеЗакрыт3 заявки144 просмотра
Найдите исполнителя для вашего проекта прямо сейчас!
Разместите заказ на фриланс-бирже и предложения поступят уже через несколько минут.

Пытаюсь скачивать данные с http://whoscored.com. Это XHR-запросы, чувствительные к заголовкам и куки, ответ в виде JSON. Если что-то неправильно, сделано, то капча вместо ответа.

1. Зайдите на https://www.whoscored.com/Regions/252/Tournaments/2/Seasons/3853/England-Premier-League (через Tor).

2. Откройте календарь, щелчком на "5-11 May 2014".

3. Выберите другую неделю (в правой колонке календаря). Это породит запрос на URL типа https://www.whoscored.com/tournamentsfeed/7794/Fixtures/?d=2014W14&isAggregate=false. Его и надо скачать.

Если оригинальный запрос браузера "скопировать в виде запроса cURL" (любой браузер) и выполнить, то все ок.

Однако, если включить прокси Tor, то оригинальный запрос браузера, "скопированный в виде запроса cURL", с добавлением --proxy socks5://127.0.0.1:9050 или --socks5 127.0.0.1:9050, уже вызывает капчу. В браузере же (через любой прокси-плагин; или через Tor Browser) все работает.

Мне хочется понять, в чем есть отличие в этих случаях (через браузер и через cURL). Цена оговариваема.

7 лет назад
kuraga
32 годаРоссия
15 лет в сервисе
Был
7 лет назад