Микропоисковик по базе сайтов
Олег14 лет в сервисе
Данные заказчика будут вам доступны после подачи заявки
29.04.2013
нужно написать простого бота, который парсит базы сайтов
1. брать построчно сайты из файла для проверки:
site.ru:parametr1
parametr2 и parametr3 статичны и указываются в скрипте.
2. посылать POST запрос, вида http://site.ru/?q=parametr1&t=parametr2
3. если в исходнике ответа есть/нет ключевое (parametr3) слово, записываем site.ru:parametr1:parametr2 в текстовый файл.
4. переходить к следующему сайту
+ должна быть многопоточность
+ поддержка больших файлов
+ работа на linux vps