Ollama: правильные команды для развёртывания

Собрал все рабочие команды, которые мы проверяли на сервере. Здесь — как запустить Ollama, скачать модели, настроить контекст и подключить Open WebUI.

📦 Установка Ollama

На хосте (Linux)

curl -fsSL https://ollama.com/install.sh | sh

Запуск через systemd

sudo systemctl start ollama
sudo systemctl enable ollama
sudo systemctl status ollama

Запуск вручную (с параметрами)

OLLAMA_HOST=0.0.0.0 OLLAMA_KEEP_ALIVE=86400 ollama serve &

🧠 Скачивание моделей

VL-модель (видит картинки, 19 ГБ)

ollama pull qwen3-vl:30b-a3b-instruct

Текстовая модель 30B (18 ГБ)

ollama pull qwen3:30b-a3b

Быстрая модель 8B (5 ГБ)

ollama pull qwen3:8b

⚙️ Загрузка моделей в память с настройкой контекста

VL-модель (контекст 16384)

curl -s http://localhost:11434/api/generate -d '{
  "model": "qwen3-vl:30b-a3b-instruct",
  "prompt": "test",
  "keep_alive": 86400,
  "options": {"num_ctx": 16384},
  "stream": false
}' > /dev/null &

Текстовая модель 30B (контекст 8192)

curl -s http://localhost:11434/api/generate -d '{
  "model": "qwen3:30b-a3b",
  "prompt": "test",
  "keep_alive": 86400,
  "options": {"num_ctx": 8192},
  "stream": false
}' > /dev/null &

Быстрая модель 8B (контекст 4096)

curl -s http://localhost:11434/api/generate -d '{
  "model": "qwen3:8b",
  "prompt": "test",
  "keep_alive": 86400,
  "options": {"num_ctx": 4096},
  "stream": false
}' > /dev/null &

Загрузить через ollama run

ollama run qwen3-vl:30b-a3b-instruct &

🔄 Проверка состояния

Какие модели скачаны

ollama list

Какие модели в памяти

ollama ps

Свободная память

free -h

🛑 Выгрузка моделей из памяти

Выгрузить VL-модель

curl -s http://localhost:11434/api/generate -d '{
  "model": "qwen3-vl:30b-a3b-instruct",
  "prompt": "unload",
  "keep_alive": 0,
  "stream": false
}' > /dev/null

Выгрузить всё

sudo systemctl stop ollama
pkill ollama

🐳 Open WebUI в Docker

Запуск с подключением к Ollama

sudo docker run -d \
  -p 3000:8080 \
  -e OLLAMA_BASE_URL=http://10.10.33.170:11434 \
  -e WEBUI_SECRET_KEY=my-secret-key-123 \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main

Проверка контейнера

sudo docker ps
sudo docker logs open-webui --tail 30

Перезапуск после сбоя

sudo docker stop open-webui
sudo docker rm open-webui
sudo docker volume rm open-webui
# Запустить заново

🌐 Open WebUI: подключение моделей

1. Открыть http://IP-сервера:3000
2. Зайти в Настройки → Подключения (Connections)
3. В разделе Ollama API указать: http://10.10.33.170:11434
4. Сохранить и обновить страницу
5. В новом чате выбрать модель

📊 Таблица моделей

┌─────────────────────────────────┬───────────┬────────────┬──────────┐
│ Модель                          │ Размер    │ Контекст   │ Для чего │
├─────────────────────────────────┼───────────┼────────────┼──────────┤
│ qwen3-vl:30b-a3b-instruct       │ 19 ГБ     │ 16384      │ Картинки │
│ qwen3:30b-a3b                   │ 18 ГБ     │ 8192       │ Текст    │
│ qwen3:8b                        │ 5.2 ГБ    │ 4096       │ Быстро   │
└─────────────────────────────────┴───────────┴────────────┴──────────┘

⚡ Быстрые команды (шпаргалка)

# Запустить Ollama с контекстом 16384
OLLAMA_NUM_CTX=16384 ollama serve &

# Скачать VL-модель
ollama pull qwen3-vl:30b-a3b-instruct

# Загрузить VL в память с контекстом
curl -s http://localhost:11434/api/generate -d '{
  "model": "qwen3-vl:30b-a3b-instruct",
  "prompt": "test",
  "keep_alive": 86400,
  "options": {"num_ctx": 16384},
  "stream": false
}' > /dev/null &

# Проверить, что в памяти
ollama ps

# Выгрузить модель
curl -s http://localhost:11434/api/generate -d '{
  "model": "qwen3-vl:30b-a3b-instruct",
  "prompt": "unload",
  "keep_alive": 0,
  "stream": false
}' > /dev/null

---

---

Категории:

Категории

• Главная
• 1С
• 2040
• AD
• CG
• IOT умный дом
• Joomla
• Linux
• macOS
• mysql
• php
• python
• SEO
• Windows
• zabbix
• Безопасность
• Железо
• Защита данных
• Нейросети
• Простотак
• Сети LAN
• Создание сайтов
• Электрика
• Электроника

Посетителей сегодня: 0

о блоге | карта блога | 📡 Подписаться на RSS