Создать сканер интернета который выискивает что-то полезное в Сети

• Чтобы софт лазил по ссылкам и искал ключевые слова или ключевые коды...

или что-то "лакомое" искал в ночное время. и так чтобы не вызывало подозрения и не было нарушения закона.

Например бесплатные доски объявлений или еще что-то полезное типа форм комментариев сообщений или обратной связи без капчи, свежих баз емейлов  организаций (если емейл указан на сайте то скорее это организация)...

Но не как Яндекс, а как-то более глубоко

Можно, думаю, слить все сайты мира без картинок на диск 1Тб (можно выборочно - парсить и записывать не все)... Только сливать нужно с умом, чтобы была доп. инфа которая поможет потом локальный поиск делать по нужным параметрам и делать пересканирование грамотное.

Может через Cron...

С возможность работы через список HTTP-прокси или Сокс4/5.

Только на PHP + MySQL

Рассмотрю все предложения - сервера есть, траффик и место на дисках -  тоже на руках.

ЯД/Киви/WMR - в наличии, готовы вкладывать монету в данное ПО.

ТЗ  - НЕТ! и не будет! но чем более это будет навороченное тем больше оплата.

Что для меня лакомое - не знаю, все на чем возможно "поживиться" без криминала.

Оплата поэтапная по мере развития начинки ПО.