Скрипт проверки текстов на уникальность

Нужно проверить на уникальность 10000 текстовых файлов. В каждом файле в среднем 30 тыс знаков.

Кроме этого нужен сам скрипт, который можно будет прикрутить на сайте для дальнейшей проверки поступающих текстов (Возможно php / java / C# / Perl)