Мой опыт практического использования ИИ-алгоритмов для помощи в создании ПО (Qt-Qml-C++) для ОС Аврора на примере локальных нейросетевых gguf-моделей, запускаемых при помощи llama.cpp на CPU
Год назад, в феврале 2025 года, я написал свое мнение по поводу использования нейросетей, а именно больших языковых моделей LLM:
Примером для той статьи было общение с бесплатными вариантами GigaChat и Deepseek. С тех пор прошел год, я периодически обращаюсь по каким-то вопросам (скорее для тестирования) к бесплатной онлайн-gigachat и опробовал за это время несколько локальных llama.cpp моделей, которые запускал на своем железе (ЦП AMD 7500f, ОЗУ 32gb ddr5, без применения видеокарты) в формате gguf:
- deepseek-coder-33b-instruct (модель примерно 2023 года, размер 18.9 Гб, сжатие Q4_K_S)
- granite-4h-small от IBM (размер 19,5 Гб, 3-4 токена/сек, сжатие Q4_K_M)
- nemotronic-3-nano от NVidia (размер 20.7 Гб, 6-7 токенов/сек, сжатие Q3_K_L)
Касательно того поста годичной давности - мнения я своего не поменял, даже несмотря на качественный прогресс в сфере нейросетей. Если спрашиваешь у нейросети что-то, что мне незнакомо - 100 % информацию нужно перепроверять по нескольким источникам, а лучше в первоисточниках - очень часто смесь из корректных и некорректных данных. То есть для такого применения нейросеть (по крайней мере локальную) использовать нежелательно.
Тем не менее, я на сегодняшний день увидел для себя следующие практические применения локальных llm-нейросетей, которые у меня хоть и в экспериментальном режиме, но уже работают и приносят какой-то практический результат:
1) работа нейросети по шаблону: у меня есть готовый шаблонный допустим qml-код, который при определенных условиях делает то-то. Ставится задача нейросети переписать этот код для похожей задачи, но с другими входными данными.
Пример:
Промт (запрос) для нейросети на примере приложения MyBusiness (Управление.бизнесом):
