Содержание
GPU уже определённо используются не только геймерами или майнерами криптовалюты. Они также стали ключевым оборудованием при работе с ИИ, кодированием медиа и задачами вроде машинного обучения. Даже в домашней лаборатории мы можем использовать GPU для ускорения окружения при выполнении многих новых и интересных рабочих нагрузок, таких как локально размещённый приватный ИИ. Это включает использование GPU-ускорения в таких вещах, как Kubernetes, LXC и Docker-контейнеры.
Контейнеры LXC и Docker с пробросом GPU в Proxmox
При работе с контейнерами вы можете настроить GPU-совместимые контейнеры в своей домашней лаборатории, чтобы использовать аппаратное GPU-ускорение. Давайте посмотрим, зачем это нужно и как это настроить.
Зачем беспокоиться о GPU-ускорении в домашней лаборатории?
Вы, конечно, можете выполнять многозадачность и запускать серьёзные рабочие нагрузки на современных процессорах. Однако GPU гораздо эффективнее справляются с задачами, выполняемыми параллельно. Модели ИИ опираются на тысячи потоков, которые выполняются одновременно, и только GPU способны обработать такую нагрузку с высокой производительностью. Большинство из нас испытывали это даже на очень быстром современном CPU. Если запускать модели ИИ только на CPU, ответы в чатах идут чрезвычайно медленно в терминах «токенов в секунду» по сравнению с использованием GPU для локального ИИ.
Обратите внимание на следующие рабочие нагрузки, которые выиграют от наличия GPU:
- ИИ: Это, вероятно, главный сценарий сейчас. Самостоятельно размещённый ИИ — отличный способ гарантировать, что вы владеете и контролируете данные вашего ИИ-чата
- Медиа-серверы: Решения вроде Jellyfin, Plex и HandBrake могут использовать GPU для кодирования H.264, H.265 и AV1
- Эксперименты с машинным обучением: Вы можете использовать такие инструменты, как PyTorch и TensorFlow, чтобы перенести тяжёлые вычисления на GPU
- Параллельная обработка данных: Вы можете использовать инструменты, такие как RAPIDS или базы данных с ускорением на CUDA, чтобы тестировать рабочие процессы данных без необходимости в облачных ресурсах
Запуск GPU-совместимых контейнеров позволяет использовать мощь вашего GPU в лёгком контейнере для рабочих нагрузок. Давайте посмотрим, как это настроить.
Шаг 1: Проверьте оборудование и драйверы
Первый шаг зависит от вашего оборудования. Прежде чем углубляться в настройки Docker или Kubernetes, убедитесь, что у вас есть оборудование, поддерживающее передачу (проброс) GPU (passthrough).
Обычно это включает следующее:
- GPU NVIDIA: Большинство карт GTX, RTX и дата-центровых карт (например, A2000 или A6000) поддерживают CUDA. Драйверы NVIDIA доступны для хостов на Linux и Windows.
- GPU AMD: Многие современные Radeon GPU поддерживают ROCm — открытую платформу вычислений от AMD. Поддержка контейнеров AMD улучшилась в 2025 году и теперь имеет официальную интеграцию с Docker.
- GPU Intel: Intel Arc и встроенная графика Iris Xe поддерживают ускорение GPU с помощью Intel GPU Tools и рантайма OneAPI
Далее проверьте, поддерживает ли ваш BIOS IOMMU и включены ли расширения виртуализации. Это гарантирует, что GPU можно изолировать для проброса или прямого доступа.
Если вы хотите использовать командную строку, вы также можете проверить IOMMU и виртуализацию AMD для ввода-вывода таким образом. Ниже мы проверяем, включены ли IOMMU и AMD-Vi.
|
1 |
dmesg | grep -e IOMMU -e AMD-Vi |
Шаг 2: Установите драйверы GPU и рантайм
Для большинства домашних лабораторий на базе Linux вам нужно установить правильные драйверы на хост-систему. Посмотрите обзор ниже, если вы запускаете Docker-контейнеры на «голом» железе с установленным Linux или на виртуальной машине с Linux поверх гипервизора.
NVIDIA:
Использование graphics-drivers/ppa с последующим указанием nvidia-driver-latest обычно обеспечивает установку последнего драйвера.
|
1 2 3 4 |
sudo add-apt-repository ppa:graphics-drivers/ppa sudo apt update sudo apt install -y nvidia-driver-latest sudo reboot |
После установки драйверов вы можете проверить, что они установлены и оборудование работает, командой nvidia-smi:
|
1 |
sudo nvidia-smi |
Важно: NVIDIA Container Toolkit устанавливается только на хост-систему (то есть на Docker-хост), а не внутри ваших контейнеров. Этот пакет действует как мост между Docker и драйверами NVIDIA. Он позволяет контейнерам получить доступ к GPU-оборудованию. Контейнеры будут автоматически использовать драйверы хоста, поэтому вам не нужно устанавливать драйверы внутри контейнера. Если вашему приложению нужны библиотеки CUDA, вы можете использовать предсобранные базовые образы NVIDIA (например, nvidia/cuda), которые уже включают их.
Далее установите NVIDIA Container Toolkit, который позволяет Docker взаимодействовать с GPU:
|
1 2 3 4 5 6 7 8 9 10 11 12 |
# Добавить репозиторий NVIDIA Container Toolkit curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \ sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo apt update sudo apt install -y nvidia-container-toolkit sudo nvidia-ctk runtime configure --runtime=docker sudo systemctl restart docker |
Вы можете убедиться в доступе к GPU внутри контейнеров с помощью:
|
1 |
docker run --rm <strong>--gpus all</strong> nvidia/cuda:12.5.0-base-ubuntu22.04 nvidia-smi |
AMD
Установите ROCm и пакеты поддержки контейнеров:
|
1 |
sudo apt install -y rocm-dkms |
Для интеграции с Docker AMD предоставляет образ рантайма ROCm, который вы можете протестировать:
|
1 2 |
docker run --device=/dev/kfd --device=/dev/dri --group-add video \ rocm/pytorch:latest rocm-smi |
Intel
Для Intel Arc и встраиваемой графики необходимо установить рантайм Intel GPU:
|
1 |
sudo apt install -y intel-opencl-icd intel-level-zero-gpu level-zero |
Вы можете проверить доступ к GPU с помощью:
|
1 |
docker run --device /dev/dri intel/oneapi-basekit |
А что насчёт LXC-контейнеров?
Для LXC-контейнеров всё зависит от того, что вы запускаете внутри LXC. Если вы запускаете приложения непосредственно внутри LXC (без Docker), вам нужно установить драйверы NVIDIA внутри самого LXC-контейнера, но вам НЕ нужно устанавливать container toolkit.
|
1 2 |
sudo apt update sudo apt install -y nvidia-driver-latest |
Если вы запускаете Docker внутри LXC-контейнера, тогда вам нужно установить и драйвер NVIDIA, и Container Toolkit.
Команды для выполнения в этом случае:
|
1 2 3 4 5 6 7 8 9 10 11 |
# Установить драйверы sudo apt update sudo apt install -y nvidia-driver-latest # Установить Docker (если не установлен) curl -fsSL https://get.docker.com | sh # Установить Container Toolkit sudo add-apt-repository ppa:graphics-drivers/ppa curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg # ... (остальная часть установки Container Toolkit) |
Шаг 3: Запуск GPU-рабочих нагрузок
После того как вы пройдёте этапы с оборудованием и драйверами, мы можем настроить Docker для использования вашего GPU в качестве устройства рантайма. Эта часть довольно проста — нужно передать флаги в команду Docker для обнаружения всех доступных GPU или добавить это в Docker Compose.
1. Ollama или OpenWebUI для локального ИИ
Если вы экспериментируете с локальными LLM, такими как Llama 3 или Mistral, вы можете запускать их прямо в Docker с GPU-ускорением:
|
1 2 3 |
docker run -d <strong>--gpus all</strong> -p 3000:3000 \ -v /opt/openwebui:/data \ ghcr.io/open-webui/open-webui:latest |
Вы также можете указать доступ к GPU в вашем файле Docker Compose:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
services: ollama: image: ollama/ollama deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu] volumes: - /opt/ollama:/root/.ollama ports: - 11434:11434 |
2. Plex или Jellyfin для GPU-транскодирования
Если вы используете домашнюю лабораторию как медиа-сервер, GPU-ускорение существенно улучшает производительность стриминга и энергоэффективность. Примечание: Plex требует подписки Plex Pass для аппаратного транскодирования.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
services: plex: image: linuxserver/plex container_name: plex runtime: nvidia environment: - PUID=1000 - PGID=1000 - VERSION=docker - NVIDIA_VISIBLE_DEVICES=all - NVIDIA_DRIVER_CAPABILITIES=all volumes: - /opt/plex/config:/config - /media:/media ports: - 32400:32400 restart: unless-stopped |
Вот пример Plex с Intel QuickSync:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
services: plex: image: linuxserver/plex container_name: plex devices: - /dev/dri:/dev/dri # Intel QuickSync environment: - PUID=1000 - PGID=1000 - VERSION=docker volumes: - /opt/plex/config:/config - /media:/media ports: - 32400:32400 restart: unless-stopped |
Вот пример Jellyfin, который является open-source и использует NVIDIA-устройства:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
services: jellyfin: image: jellyfin/jellyfin container_name: jellyfin # Для NVIDIA: runtime: nvidia environment: - NVIDIA_VISIBLE_DEVICES=all # Для Intel/AMD: devices: - /dev/dri:/dev/dri volumes: - /opt/jellyfin/config:/config - /opt/jellyfin/cache:/cache - /media:/media ports: - 8096:8096 restart: unless-stopped |
Вы можете включить аппаратное ускорение в настройках Plex в разделе Transcoder. Включите «Использовать аппаратное ускорение, когда доступно». В Jellyfin перейдите в Dashboard > Playback > Transcoding. Там установите аппаратное ускорение на NVIDIA, Intel QuickSync или VAAPI и т.д.
3. Машинное обучение с TensorFlow или PyTorch
Если вы экспериментируете с ML-моделями локально, использование GPU-совместимых контейнеров даёт огромный прирост производительности.
Быстрый тест TensorFlow на GPU:
|
1 2 |
docker run --gpus all -it --rm tensorflow/tensorflow:latest-gpu bash python -c "import tensorflow as tf; print('GPUs Available:', tf.config.list_physical_devices('GPU'))" |
PyTorch с NVIDIA:
|
1 2 3 |
# Тест доступа PyTorch к GPU: docker run --gpus all -it --rm pytorch/pytorch:latest bash python -c "import torch; print('CUDA Available:', torch.cuda.is_available()); print('GPU Count:', torch.cuda.device_count())" |
PyTorch с AMD ROCm:
|
1 2 3 4 5 6 7 |
# Для Radeon RX 7000/9000 серии AMD: docker run -it --rm \ --device=/dev/kfd --device=/dev/dri \ --group-add video \ rocm/pytorch:latest bash python -c "import torch; print('ROCm Available:', torch.cuda.is_available())" |
Шаг 4: GPU в Kubernetes или MicroK8s
Если вы перешли на Kubernetes в вашей домашней лаборатории, вы можете использовать планирование GPU для ваших рабочих нагрузок. Предварительные требования: Убедитесь, что драйверы NVIDIA и Container Toolkit установлены на всех узлах, которые будут запускать GPU-рабочие нагрузки (см. Шаг 2 выше).
NVIDIA
|
1 2 |
# Использование kubectl (проверьте последнюю версию) kubectl create -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/v0.16.2/deployments/static/nvidia-device-plugin.yml |
Или вы можете сделать это с помощью Helm:
|
1 2 3 4 5 |
helm repo add nvdp https://nvidia.github.io/k8s-device-plugin helm repo update helm install nvidia-device-plugin nvdp/nvidia-device-plugin \ --namespace kube-system \ --create-namespace |
Затем вы можете проверить обнаружение GPU с помощью:
|
1 |
kubectl get nodes -o=custom-columns=NAME:.metadata.name,GPU:.status.capacity.'nvidia\.com/gpu' |
Затем вы можете добавить запросы на GPU в спецификацию Pod:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
apiVersion: v1 kind: Pod metadata: name: gpu-pod spec: containers: - name: gpu-test image: nvidia/cuda:12.5.0-base-ubuntu22.04 resources: limits: nvidia.com/gpu: 1 # Запрос 1 GPU command: ["nvidia-smi"] args: ["-L"] # Перечислить GPU и выйти (для тестирования) |
Для постоянных рабочих нагрузок вы можете использовать деплоймент с долгоживущим контейнером, например:
|
1 2 3 |
resources: limits: nvidia.com/gpu: 1 # Или "2" для нескольких GPU |
MicroK8s также включает встроенный аддон GPU, который автоматически настраивает драйверы для поддерживаемого оборудования, что делает процесс очень простым. Примечание: Это предполагает, что вы уже установили драйверы NVIDIA и Container Toolkit на хост MicroK8s. Аддон развёртывает только device plugin, а не сами драйверы.
|
1 |
microk8s enable gpu |
AMD
AMD имеет плагин устройства для Kubernetes через ROCm:
|
1 |
kubectl create -f https://raw.githubusercontent.com/RadeonOpenCompute/k8s-device-plugin/master/k8s-ds-amd-gpu-dp.yaml |
Затем вы можете планировать GPU-рабочие нагрузки аналогичным образом:
|
1 2 3 |
resources: limits: amd.com/gpu: 1 |
Шаг 5: Устранение неполадок
Если контейнеры «не видят» GPU, вы можете пройти базовую диагностику с помощью нескольких команд на уровне хоста.
|
1 2 3 4 5 6 7 8 |
# Для NVIDIA: nvidia-smi # Для AMD: rocm-smi # Проверьте наличие устройств: ls -la /dev/nvidia* /dev/dri/ |
Если nvidia-smi не работает на хосте, значит, проблема с установкой драйвера. После проверки уровня хоста, если нужно протестировать доступ к GPU внутри контейнера, выполните следующее:
|
1 2 3 4 5 |
# Для NVIDIA: docker run --rm --gpus all nvidia/cuda:12.5.0-base-ubuntu22.04 nvidia-smi # Проверить, что устройства примонтированы: docker run --rm --gpus all nvidia/cuda:12.5.0-base-ubuntu22.04 ls -la /dev/nvidia* |
Вы также можете использовать инструменты вроде watch nvidia-smi, чтобы отслеживать активные процессы на GPU, когда контейнеры запускаются, чтобы увидеть, используют ли они GPU.
Шаг 6: Мониторинг
Когда ваши GPU-рабочие нагрузки работают, мониторинг помогает оптимизировать распределение ресурсов и раннее обнаружение проблем. Вы можете использовать открытое решение с Prometheus и NVIDIA DCGM Exporter, которое рекомендуется для сбора статистики и метрик:
NVIDIA
Вы можете развернуть DCGM Exporter на каждом GPU-узле для экспорта метрик.
|
1 2 3 4 5 6 7 8 9 |
docker run -d --restart=unless-stopped \ --gpus all \ --name dcgm-exporter \ -p 9400:9400 \ nvcr.io/nvidia/k8s/dcgm-exporter:3.3.5-3.4.0-ubuntu22.04 # Kubernetes helm repo add gpu-helm-charts https://nvidia.github.io/dcgm-exporter/helm-charts helm install dcgm-exporter gpu-helm-charts/dcgm-exporter --namespace gpu-monitoring |
Затем вы можете настроить Prometheus для скрапинга метрик:
|
1 2 3 4 |
scrape_configs: - job_name: 'dcgm' static_configs: - targets: ['localhost:9400'] |
AMD
Используйте экспортер ROCm SMI:
|
1 2 3 |
git clone https://github.com/platina-systems/rocm_smi_exporter cd rocm_smi_exporter python3 rocm_smi_exporter.py |
Рекомендуемые модели GPU
Обратите внимание на несколько рекомендаций по GPU для различных рабочих нагрузок и задач на 2025–2026 годы с моделями, которые нам известны на текущий момент.
Для задач AI/ML
| GPU | VRAM | TDP | Прибл. цена | Лучше всего для | Доступность |
|---|---|---|---|---|---|
| NVIDIA RTX 5070 | 12GB GDDR7 | 250W | 60 000 руб | Начальный уровень для ИИ, заявляет производительность RTX 4090 с DLSS 4 | Доступна сейчас |
| NVIDIA RTX 5080 | 16GB GDDR7 | 360W | 120 000 руб | Серьёзные ИИ-задачи, 4K-гейминг | Доступна сейчас |
| NVIDIA RTX Pro 4000 SFF | 20GB GDDR6 | 70W | 170 000 руб | Компактные серверы, низкое энергопотребление | Доступна сейчас |
| AMD Radeon RX 9070 XT | 16GB | 300W | 75 000 руб | ROCm-совместимые ИИ-задачи, дружелюбна к open-source | Доступна сейчас |
| AMD Radeon RX 9070 (желательно модель 48GB) | 48GB | 350W | 150 000 руб | Большие языковые модели, огромные датасеты | В России практически недоступна сейчас |
| Intel Arc B770 | 16GB GDDR6 | 225W | 36 000 руб | Бюджетный ИИ, медиа-транскодирование | Доступна сейчас |
Для медиатранскодирования (Plex/Jellyfin и т.д.)
| GPU | VRAM | TDP | Прибл. цена | Лучше всего для | Доступность |
|---|---|---|---|---|---|
| Intel Arc B580 | 12GB | 190W | 32 000 руб | Самая выгодная, справляется с 10+ потоками, AV1-кодирование | Доступна сейчас |
| Intel Arc Pro B50 | 16GB | 70W | 32 000 руб | Низкопрофильные, компактные сборки | Доступна сейчас |
| Intel Arc A770 | 16GB | 225W | 45 000 руб | Зрелые драйверы, проверенная производительность | Доступна сейчас |
| NVIDIA RTX 5050 | 8GB | 130W | 27 000 руб | NVENC-кодирование, компактна | Доступна сейчас |
Для бюджетных домашних лабораторий
| GPU | VRAM | TDP | Прибл. цена | Лучше всего для | Доступность |
|---|---|---|---|---|---|
| Intel Arc B580 | 12GB | 190W | 32 000 руб | Лучшая общая ценность для ИИ + транскодирования | Доступна сейчас |
| AMD Radeon RX 7700 XT | 12GB | 245W | 50 000 руб | Надёжная поддержка ROCm, игровая карта | Доступна сейчас |
| Intel Arc A380 | 6GB | 75W | 14 000 руб | Ультра-бюджетное транскодирование | Доступна сейчас |
В заключение
Нет сомнений, что GPU-совместимые контейнеры — одна из крупнейших эволюций в современной домашней лаборатории. С учётом растущих требований к рабочим нагрузкам, таких как ИИ, машинное обучение и обработка медиа, нам всё чаще потребуется такая конфигурация. Процесс настройки стал значительно проще благодаря NVIDIA Container Toolkit и интеграции ROCm от AMD, а также растущей поддержке со стороны Intel.
С одним GPU и небольшими настройками вы можете открыть новый уровень производительности для задач ИИ и медиа. Напишите в комментариях — используете ли вы GPU-совместимые контейнеры?
