Парсер ВКонтакте
Надо написать парсер (PHP, python, ruby) записей и комментариев со стены групп и сохранять их в базу данных. Суть получать новые записи и новые комментарии.
1. Список адресов групп храниться в текстовом файле, каждый адрес с новой строки. Количество групп 5000-10000, парсер будит запускаться один раз в 30-60 минут.
2. В базе хранить две таблицы:
a. Записи
i. id группы(брать со страницы),
ii. название группы,
iii. id записи (брать со страницы),
iv. содержимое записи,
v. дата и время создания записи (брать со страницы),
vi. ссылка на запись
b. Комментарии (Поиск новых комментариев ведется по N последним записям)
i. id комментария (брать со страницы),
ii. id записи,
iii. содержимое комментария,
iv. дата и время создания комментария (брать со страницы),
v. ссылка на комментарий.
3. Перед записью в БД записи или комментария проверять по id наличие их в БД, и если нет, то записывать.
Указывать цену и сроки. Без конкретной цены и сроков предложение не рассматриваются.