Как запустить локальную модель (например, Gemma 4 26B A4B) на своём ПК и подключить её к LiterAI через API LM Studio
Вы можете запустить мощную
языковую модель прямо на своём компьютере и подключить её к любимому сайту для ролевых историй.
В этом посте покажем инструкцию как это сделать.
языковую модель прямо на своём компьютере и подключить её к любимому сайту для ролевых историй.
В этом посте покажем инструкцию как это сделать.
Шаг 1: Установка и запуск LM Studio
LM Studio — это бесплатное приложение с графическим интерфейсом для запуска нейросетей прямо на вашем компьютере с Windows, macOS или Linux. Оно не требует знаний программирования и сложной настройки окружения.
- Скачайте и установите LM Studio с официального сайта lmstudio.ai.
- Слева в меню выберите пункт - поиск моделей. Откроется окно с поиском. Там вбейте название G4-MeroMero-26B-A4B. Справа в окне появится описание модели, там выберите G4-MeroMero-26B-A4B-IQ4_XS.gguf и загрузите (скачайте) ее.