Решить проблему с долгим ответом от веб-сервера

Добрый день!

Имеется окружение:

+ Ubuntu 14.04 x64

+ vps

+ 512MB

+ swap 1Gb

+ 20GB SSD

+ nginx

+ fastcgi_cache

+ hhvm (fallback - php5-fpm)

+ MariaDB MySQL

+ memcached

(устанавливался через easyengine)

На сервере крутятся 2 сайта (устанавливались через easyengine):

+ wordpress

+ w3tc (database cache и object cache - memcached, CDN Amazon CloudFront)

+ nginx helper

Посещаемость 100-150 человек в день на каждый.

Load average 0.06 0.04 0.05

Свободная память ~100Mb

Свободный swap ~500Mb

Сервер в Амстердаме.

Иммется проблема:

При тестировании скорости работы сайта через http://tools.pingdom.com/fpt/ или http://www.webpagetest.org/

время ожидания ответа иммено от сервера от 5 сек. до 7 сек., даже если тестировать из Амстердама (НЕ время загрузки сайта).

Так как в настройках сервера я не специалист, этот сервер настраивал по разным мануалам из интернета, то нужна помощь, чтобы понять причину и оптимизировать работу сервера и уменьшить время ожидания ответа.

Хочется разобраться в текущем окружении, а не получить комментарий "да что тут накрутили, простая связка nginx+php+mysql рулят".