Написать небольшой php скрипт сортировки

1. Получаем все уникальные id юзеров(или как они там у вас идентифицируются)

2.  Проходимся по каждому юзеру со следующей логикой:

   2.1 Берем запросом все записи с этим юзером

   2.2 Сортируем полученный массив по времени

   2.3 Сохраняем в переменную время второго

   2.4 Далее реализуете вашу логику, что то типа:

if($user[0]['worker_time'] - $user[1]['worker_time']

ваша логика

}else{

ваша логика

}

2.5 Удаляете все записи WHERE итерируемый юзер и worker_time

Вся суть тут