Винница

Украина

Привет специалистам.
Нужен парсер ссылок для работы на Ubuntu.
Суть: Есть база mysql с списком ссылок на сайты, программа должна вытаскивать по одной ссылки из базы, заходит по этой ссылки, далее находить на странице все ссылки и заносить их в базу, удалять дубликаты ссылок.
Например — парсим страницу http://wowa.ru, на этой странице есть ссылки http://yandex.ru?a=b&с=f, http://google.com/profile/my, /about.html, /main/contacts.html, в базе должно быть так:
http://yandex.ru, 
http://google.com, 
http://wowa.ru/about.html, 
http://wowa.ru/main/contacts.html 
Программа должна работать как сервис, т.е. постоянно висит, только в базе появился новый сайт, сразу парсит его.

Вадим Fixit