Небольшая доработка шаблона проекта llama.cpp для ОС Аврора 5.1+ (версия для устройств до 4 Гб ОЗУ)
Недавно был опубликован проект запуска llama.cpp на ОС Аврора от ОМП:
Я немного его доработал (в основном внешний вид) и выкладываю сборку armv7hl для устройств с количеством ОЗУ до 4Гб:
rpm
ru.auroraos.LlmRunner-1.0.0-1.armv7hl.rpm2.13 Mb
Модель здесь используется IBM Granite-4.0-micro-Q3_K_S - очень маленькая (и "глупая") на 1.6 Гб:
Скачайте модель и поместите в папку Downloads или Documents.
Отмечу, что модель такого размера подходит разве что для создания несложных SQL-запросов и bash-скриптов, то есть не ждите от нее многого. Это скорее вариант для развлечения.
Пост с версией aarch64 для устройств с ОЗУ более 4 Гб и более интересной думающей моделью Nvidia Nemotron 3:
Скриншот с планшета F+ Т800, Аврора 5.1.3.85