Винница

Украина

Привет специалистам.
Нужен парсер ссылок для работы на Ubuntu.
Суть: Есть база mysql с списком ссылок на сайты, программа должна вытаскивать по одной ссылки из базы, заходит по этой ссылки, далее находить на странице все ссылки и заносить их в базу, удалять дубликаты ссылок.
Например — парсим страницу http://wowa.ru, на этой странице есть ссылки http://yandex.ru?a=b&с=f, http://google.com/profile/my, /about.html, /main/contacts.html, в базе должно быть так:
http://yandex.ru, 
http://google.com, 
http://wowa.ru/about.html, 
http://wowa.ru/main/contacts.html 
Программа должна работать как сервис, т.е. постоянно висит, только в базе появился новый сайт, сразу парсит его.

Привет специалистам.
Нужен парсер ссылок для работы на Ubuntu.
Суть: Есть база mysql с списком ссылок на сайты, программа должна вытаскивать по одной ссылки из базы, заходит по этой ссылки, далее находить на странице все ссылки и заносить их в базу, удалять дубликаты ссылок.
Например — парсим страницу <a href="http://wowa.ru" rel="nofollow noopener noreferrer" target="_blank">http://wowa.ru</a>, на этой странице есть ссылки <a href="http://yandex.ru?a=b&amp;с=f" rel="nofollow noopener noreferrer" target="_blank">http://yandex.ru?a=b&amp;с=f</a>, <a href="http://google.com/profile/my" rel="nofollow noopener noreferrer" target="_blank">http://google.com/profile/my</a>, /about.html, /main/contacts.html, в базе должно быть так:
<a href="http://yandex.ru" rel="nofollow noopener noreferrer" target="_blank">http://yandex.ru</a>, 
<a href="http://google.com" rel="nofollow noopener noreferrer" target="_blank">http://google.com</a>, 
<a href="http://wowa.ru/about.html" rel="nofollow noopener noreferrer" target="_blank">http://wowa.ru/about.html</a>, 
<a href="http://wowa.ru/main/contacts.html" rel="nofollow noopener noreferrer" target="_blank">http://wowa.ru/main/contacts.html</a> 
Программа должна работать как сервис, т.е. постоянно висит, только в базе появился новый сайт, сразу парсит его.

Вадим Fixit