Требуется сервис
Требуется разработка сервиса, который крутился бы непрерывно на сервере, сканировал бы все web-страницы, включая динамические, строго определенных сайтов, искал бы там определенную информацию и заносил в базу данных MySQL.
Не спам, не реклама и не прочие гадости. При этом в базу должна также поступать информация о всех посещенных страницах, чтобы граббер не лазил по одним и тем же страницам одного сайта.
В настоящий момент такое решение у нас уже есть, оно написано на Python, но сожалению имеет ряд выраженных недостатков. Хотелось бы создать решение, которое не есть много памяти, перебирает как динамиические, так и статические страницы сайтов.
Обязателен многопоточный режим, желательно чтобы сервис мог одновременно собирать информацию с 3-4-5 сайтов.