Скрипт/программка для нахождения дублей в тексте

Сергей19 лет в сервисе
Данные заказчика будут вам доступны после подачи заявки
18.05.2007

Есть текстовый файл, в котором хранятся какие то данные с дублями. Необходимо написать скриптик или программку которая будет убивать эти дубли!

Заявки фрилансеров