Настроить koboldCpp или exLlama на Vast.ai

Евгений16 лет в сервисе
Данные заказчика будут вам доступны после подачи заявки
30.07.2023

Пытаемся оптимизировать работу модели на vast.ai , но не всё понято. Нужно помощь кого-то, кто сможет заставить работать быстрее, использовать gpu по максимуму.  И объяснить, что и почему.

Заявки фрилансеров