Скрипт (программа) для работы с текстом

У меня есть текст (статьи) надо написать скрипт или программку которая будет делить текст на слова, одно слово одна строка. Скриптик (либо програ под windows) должна уметь работать с большими объемами текста (в минимальном текстовом файле будет более 10 млн. слов) и в идеале должна убивать дубли слов.