Закрыть доступ к файлам на сервере для внешних сайтов

Есть сервер на Linux, в папках которых расположены файлы. У сервера есть свой домен, по которым мы ссылаемся на файлы для загрузки. 

Собственно сама задача. Необходимо ограничить доступ к файлом для сторонних сайтов, а для выборочных (два таких сайта) доступ предоставить