Грабер ссылок

Скрипт граббера.

Скрипт представляет собой web-приложение, которое работает удаленно. Управление приложением происходит посредством браузера. Программная часть приложения основана на PHP с использованием базы данных MySQL.

Визуально скрипт состоит из одной страницы управления (далее СУ). На этой странице задаются следующие данные.

1. URL RSS-канала сайта источника новостей.

2. И без RSS по http:// САЙТА /КАТЕГОРИЯ / все ссылки с летибита от 200 метров и выше

3. Имя пользователя, чьи посты необходимо грабить (если поле оставить пустым, будут грабиться все посты).

4. Логин и пароль аккаунта на vip-file.com.

Кроме того, на СУ есть возможность выделить все сграбленные ссылки. Выделенные ссылки можно удалить или поставить на перекачку из letitbit.net на vip-file.com.

Список ссылок представляет собой таблицу, которая состоит из следующих столбцов.

1. № ссылки.

2. Флаг отметки ссылки (для дальнейшего удаления или поставки на закачку).

3. Адрес ссылки (в виде HTML-ссылки).

4. Размер файла, находящегося по ссылке.

Основная задача граббера состоит из нескольких пунктов.

1. Парсинг заданного RSS-канала DLE ресурса.

2. Парсинг новостей удаленного ресурса по RSS-каналу на предмет выявления файловых ссылок на ресурс letitbit.net.

3. Грабинг ссылок от 200метров и выше только летитбит .

4. Отображение всех выявленных ссылок на letitbit.net по всем новостям RSS-канала на СУ для дальнейшего управления ссылками (удаление, закачка или ожидание). Те ссылки, которые были уже ранее удалены на СУ, а так же, те, которые были поставлены на закачку отображаться не будут.

5. Использование аккаунта vip-file.com, заданного на СУ (логина и пароля) для постановки на закачку из letitbit.net в vip-file.com тех файлов, которые были выбраны для этого на СУ.

Скрипт граббера не должен контролировать процесс перекачки файлов из letitbit.net на vip-file.com. Этот процесс полностью уходит под контроль аккаунта vip-file.com.

Все сграбленные по RSS-каналу ссылки на letitbit.net отображаются сплошным списком на СУ, без разделения на новости, разделы и т. п.

Скрипт будет отображать только те ссылки на letitbit.net, которые находятся лишь в тех новостях, которые в данный момент доступны по RSS-каналу. Те новости, которые отсутствуют в канале RSS, парситься на предмет выявления ссылок на letitbit.net не будут.

Те ссылки, которые на СУ не были не удалены, не поставлены на перекачку, будут отображаться на СУ постоянно до тех пор, пока не будут либо удалены, либо поставлены на перекачку.

Те ссылки, которые были отправлены на перекачку, будут либо иметь статус находящихся в процессе перекачки (если в аккаунте vip-file.com они находятся в процессе перекачки), либо не будут больше никогда отображаться на СУ (если в аккаунте vip-file.com в списке перекачки их нет, но есть в списке уже готовых файлов). В противном случае для ссылки будет отображен статус ошибки.

После добавления ссылки в vip-file.com скрипт удостоверяется, что ссылка была успешно добавлена и файл находится в процессе перекачки. Если после добавления ссылки не отображается список перегружаемых файлов, скрипт перезагружает страницу аккаунта vip-file.com, чтобы убедиться, что данный файл уже существует на серверах vip-file.com. Файл по данной ссылки считается успешно загруженным и в более в списке ссылок на СУ не отображается.

Должна присутсвовать ссылка вкладка на это описание