Создать программу раздубливания списков.

Необходимо удаление дублей из текста по заданным параметрам.

Большие объёмы.