Простой скрипт парсинга и сортировки
Требуется скрипт для группировки ключей через яндекс ТОП10.
Выглядит это следующим образом:
Спарсить URL сайтов ТОП10 яндекса по всем запросам (регион МСК). (в скрипт будет загружаться список запросов от 50 до 2000!)
Сгруппировать запросы по следующему принципу:
Чем больше у запросов одинаковых совпадений URL тем вероятнее они попадут в одну группу.
В итоге должны получиться запросы сгруппированные в группы по (5-10 штук) которые имеют наибольшее число одинаковых URL из топ10 яндекса.
Скрипт должен быть универсальным, код лёгким и модернизируемым, так как потребуется доработка и интеграция с другими скриптами.
Для ускорения парсинга ТОП10 понадобиться работа спрокси (имеются ip, login, password)
ОБЯЗАТЕЛЬНО укажите приблизительное время на выполнение и стоимость.
PS Рассмотрим на длительное сотрудничество Хорошего специалиста!
Требования:
Знание PHP и ООП, создание и грамотная организация БД (mySql), html, JS, Ajax. Работа с API веб сервисов.
Желателен опыт написания собственных законченных систем, движков, веб-интерфейсов, опыт парсинга данных с других ресурсов.
Работа с большими объемами данных от 500 тысяч записей.
Структурный комментируеый код.