Написать многопоточный парсер (паук) ссылок

Стоит задача обойти весь сайт (порядка 7 миллионов страниц) и сохранить уникальные URL с определенным ключевым словом в URL.

По набору 100 000 строк, сохранять результаты в отдельные файлы с уникальным ID.

Скрипт нужен на perl или php. Необходим запуск через команду screen.

10-20 потоков хватит.