Парсер / Автоматическое добавление текста на сайт
Добрый день!
Есть свой сайт текстов песен. Нужно написать парсер поиска и добавления новых текстов на сайт с других сайтов.
Что есть:
1. Сайт: azlyrics.com
Дается список урлов, например:
www.azlyrics.com/e/eminem.html
www.azlyrics.com/r/rihanna.html
www.azlyrics.com/p/prodigy.html
Скрипт автоматически сканирует ссылки и проверяет на наличие этих песен у моего сайта.
Если песен нет, то добавляет. Желательно конечно чтоб добавлял и по альбомам...
При этом у azlyrics одновременно на 1 IP 1 поток и следующий запрос только через 70 секунд.
2. Сайт: lyrics.wikia.com
Функционал такой же:
lyrics.wikia.com/wiki/Maajoukkue
lyrics.wikia.com/wiki/Mac_Band
lyrics.wikia.com/wiki/Mad_Cobra
Тут можно 20 потоков со всех IP (т.е. не 1 IP 20 потоков, а все IP - 20 потоков)
Главные требования:
а) Работа через прокси IPv4, если еще будет IPv6, то идеально
б) Чтобы работало автономно (т.е. вставил список урлов, запустил программу и он работал сам по себе)
в) Чтобы был лог добавлений песен этого парсера и только после ручного Подтверджения (или отказа) песни добавлялись в базу