Нужна простенькая обработка TXT баз

Здравствуйте.

Есть папка с файликами. Внутри каждого - некоторые строки, каждая из которых начинается с ссылки, дальше идет пробел и всякий мусор. образец прилагаю во вложении. В файликах может быть от 1000 до 1 000 000 и более таких строчек. Самих файликов может быть 100-200.

Задача - выдернуть из файлов только урлы (до пробела), чекнуть на дубли и сохранить в отдельный текстовый файл.