Установка PrivateGPT на WSL с поддержкой GPU

Ссылки:

Вам будет достаточно только этой статьи. Ссылки пригодятся на случай, если процедура установки поменяется, и статья устареет. Актуальность данного документа – 13.10.2024

Видеоверсия гайда:

https://boosty.to/nickaboutit/posts/790dbb13-172d-4b72-be82-8fad232f06fd?share=post_link

Оригинальная статья, которая была переведена и дополнена:

https://dev.to/docteurrs/installing-privategpt-on-wsl-with-gpu-support-1m2a

Гитхаб:

https://github.com/zylon-ai/private-gpt

Документация:

https://docs.privategpt.dev/

Сайт Nvidia для загрузки драйверов для WSL:

https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=WSL-Ubuntu&target_version=2.0&target_type=deb_network

Мои соцсети:

Технические гайды и доступы к закрытым каналам и видео:

https://boosty.to/nickaboutit

Телеграм канал:

https://t.me/neiroNick

YouTube:

https://www.youtube.com/@NickAboutIT

PrivateGPT — это готовый к использованию ИИ проект, который позволяет вам задавать вопросы о ваших документах, используя возможности больших языковых моделей (LLM), даже без подключения к Интернету. Никакие данные не покидают ваш компьютер, что гарантирует 100% конфиденциальность.

Запуск с использованием видеокарты (GPU) может значительно повысить его производительность. В этом руководстве я проведу вас через пошаговый процесс установки PrivateGPT на WSL с ускорением через GPU.

Подготовка

Скриншоты сделаны из полного урока, доступного на Бусти https://boosty.to/nickaboutit/posts/790dbb13-172d-4b72-be82-8fad232f06fd?share=post_link

Если возникают трудности при установке с использованием этой статьи – рекомендую смотреть урок на бусти т.к. там показан процесс на видео с пояснениями на каждом шагу, а так же как применять приватный ИИ на практике. Статья при этом написана так, чтобы можно было повторить процесс без просмотра видео.

Прежде чем начать, убедитесь, что у вас установлена последняя версия Ubuntu WSL. Вы можете выбрать из версий Ubuntu-22–04–3 LTS или Ubuntu-22–04–6 LTS, доступных в Магазине Windows (Microsoft Store).

Скачиваем и открываем WSL:

Если вы в первый раз открываете WSL – необходимо будет создать пользователя. Для этого следуйте инструкциям, которые будут написаны в терминале.

После создания пользователя обновляем систему, введя в терминале WSL поочередно следующие команды (Отсюда и далее будут написаны команды курсивом на английском языке, которые нужно будет вводить в терминал):

sudo apt-get update

sudo apt-get upgrade

sudo apt-get install build-essential

ℹ️
«Обновление» очень важно, так как если вы этого не сделаете в дальнейшем могут возникнуть ошибки

Клонирование репозитория PrivateGPT

git clone https://github.com/zylon-ai/private-gpt

Настройка среды Python

Для управления версиями Python мы будем использовать pyenv.

Выполните следующие команды, чтобы установить его и настроить среду Python:

sudo apt-get install git gcc make openssl libssl-dev libbz2-dev libreadline-dev libsqlite3-dev zlib1g-dev libncursesw5-dev libgdbm-dev libc6-dev zlib1g-dev libsqlite3-dev tk-dev libssl-dev openssl libffi-dev

curl https://pyenv.run | bash

export PATH="/home/$(whoami)/.pyenv/bin:$PATH"

Добавьте следующие строки в файл .bashrc, введя команды:

export PYENV_ROOT="$HOME/.pyenv"

[[ -d $PYENV_ROOT/bin ]] && export PATH="$PYENV_ROOT/bin:$PATH"

eval "$(pyenv init -)"

Перезагрузите терминал:

source ~/.bashrc

Установим важные отсутствующие вещи pyenv

sudo apt-get install lzma

sudo apt-get install liblzma-dev

Установите Python 3.11 и сделайте его глобальной версией:

pyenv install 3.11

pyenv global 3.11

pip install pip --upgrade

pyenv local 3.11

Установим poetry для управления зависимостями:

curl -sSL https://install.python-poetry.org | python3 –

sudo apt install
python3-poetry

Добавьте следующую строку в ваш .bashrc:

ВНИМАНИЕ: В следующей команде вместо <YOU USERNAME> должно стоять ваше имя пользователя в WSL. Чтобы узнать имя пользователя можно ввести whoami

export PATH="/home/<YOU USERNAME>/.local/bin:$PATH"

Перезагрузите вашу конфигурацию

source ~/.bashrc

poetry --version должно работать без ошибок

Установка зависимостей PrivateGPT

Перейдите в каталог PrivateGPT и установите зависимости:

cd private-gpt

poetry install --extras "ui embeddings-huggingface llms-llama-cpp vector-stores-qdrant"

Установка драйверов Nvidia

Посетите официальный сайт Nvidia , чтобы загрузить и установить драйверы Nvidia для WSL.

Выберите Linux > x86_64 > WSL-Ubuntu > 2.0 > deb (network)

На сайте ищем надпись «Download Installer for Linux WSL-Ubuntu 2.0 x86_64» и следуем инструкциям -там будут команды, которые нужно будет вводить в терминале. Команды отсутствуют в статье т.к. могут в любой момент поменяться.

Добавьте следующие строки в ваш .bashrc:

ВНИМАНИЕ: Вместо cuda-12.6 в следующих строках могут быть другие цифры, в зависимости от текущей версии драйверов Nvidia. Можете проверить содержимое директории «/usr/local», чтобы увидеть эти или иные правильные цифры

export PATH="/usr/local/cuda-12.6/bin:$PATH"

export LD_LIBRARY_PATH="/usr/local/cuda-12.6/lib64:$LD_LIBRARY_PATH"

Перезагрузите конфигурацию и проверьте, что все работает так, как ожидалось.

source ~/.bashrc

nvcc --version

nvidia-smi.exe

Создание и запуск PrivateGPT

Наконец, установите библиотеки LLAMA CUDA:

CMAKE_ARGS='-DGGML_CUDA=on' poetry run pip install --force-reinstall --no-cache-dir llama-cpp-python

Если вышла ошибка типа “llama-index-core x.xx.xx requires numpy<2.0.0…” вводим следующую команду, для установки корректной версии numpy:

Poetry run pip install numpy==1.23.5

Позвольте частному GPT загрузить для вас локальный LLM:

poetry run python scripts/setup

Для запуска PrivateGPT используйте следующую команду:

make run

ℹ️ Ждём запуска и переходим по ссылке 127.0.0.1:8001 в вашем браузере

Так выглядит интерфейс: