Шахтерск

Украина

нужно написать простого бота, который парсит базы сайтов

1. брать построчно сайты из файла для проверки:
site.ru:parametr1

parametr2 и parametr3 статичны и указываются в скрипте.

2. посылать POST запрос, вида http://site.ru/?q=parametr1&t=parametr2
3. если в исходнике ответа есть/нет ключевое (parametr3) слово, записываем site.ru:parametr1:parametr2 в текстовый файл.
4. переходить к следующему сайту

+ должна быть многопоточность
+ поддержка больших файлов
+ работа на linux vps

нужно написать простого бота, который парсит базы сайтов

1. брать построчно сайты из файла для проверки:
<a href="http://site.ru" rel="nofollow noopener noreferrer" target="_blank">site.ru</a>:parametr1

parametr2 и parametr3 статичны и указываются в скрипте.

2. посылать POST запрос, вида <a href="http://site.ru/?q=parametr1&amp;t=parametr2" rel="nofollow noopener noreferrer" target="_blank">http://site.ru/?q=parametr1&amp;t=parametr2</a>
3. если в исходнике ответа есть/нет ключевое (parametr3) слово, записываем <a href="http://site.ru" rel="nofollow noopener noreferrer" target="_blank">site.ru</a>:parametr1:parametr2 в текстовый файл.
4. переходить к следующему сайту

+ должна быть многопоточность
+ поддержка больших файлов
+ работа на linux vps

Олег bondar21