Нужно спарсить все URL сайта

Игорь19 лет в сервисе

Данные заказчика будут вам доступны после подачи заявки

20.04.2014

Без дубликатов. Отчет в виде txt файла, где с новой строки URL.

Собирать нужно только определенные URL (в которых есть специальное окончание, пример: http://site.com/index.php?test=), но для этого придется обойти весь сайт.

Сайт точно больше 3 миллионов страниц.

Сроки до 2-х недель.