Локальный LLM установка на Windows (Ollama)

Запуск локального LLM обеспечивает полную конфиденциальность данных и работу офлайн. Подписка не требуется. Учитываются затраты на оборудование и электроэнергию.

Требуется Ollama и мощный GPU.

Минимальные требования к оборудованию

Для запуска Elite Dangerous и LLM на одном компьютере требуется минимум NVIDIA RTX 3060 с 12 ГБ VRAM. На этой конфигурации производительность ограничена.

Подсказка: Elite Intel можно направить на экземпляр Ollama, работающий на отдельном компьютере в вашей сети. Если доступна вторая машина с мощным GPU, игровой ПК не несёт нагрузки инференса в этой конфигурации.

Рекомендуемая модель

Модель Требуется VRAM Примечания
tulu3:8b Q4_K_M ~5 ГБ ✅ Рекомендуется. Надёжная работа с командами и запросами.
qwen3 8B ~8 ГБ Экспериментальная. Возможны пропущенные команды и галлюцинации.

Примечание: Для наиболее быстрого локального инференса рассмотрите LM Studio с matrixportalx/tulu-3.1-8b-supernova. По результатам тестирования, он заметно быстрее Ollama на том же оборудовании с той же моделью.

Шаг 1 Установка Ollama

  • Перейдите на https://ollama.com/download
  • Скачайте и запустите OllamaSetup.exe. Права администратора не требуются.
  • Ollama устанавливается и запускается в системном трее. Автозапуск при входе в систему включён.

Шаг 2 Загрузка модели

Откройте командную строку или PowerShell и выполните:

ollama pull tulu3:8b

Или экспериментальные альтернативы:

ollama pull qwen3:8b

Шаг 3 (Необязательно) Тонкая настройка конфигурации

Ollama работает без настройки. Следующая конфигурация улучшает управление VRAM при совместном запуске с Elite Dangerous.

На Windows Ollama считывает конфигурацию из переменных среды пользователя.

  1. Щёлкните правой кнопкой по значку Ollama в трее и выберите Quit.
  2. Откройте Параметры и найдите «переменные среды».
  3. Нажмите «Изменить переменные среды для вашей учётной записи».
  4. Добавьте каждую переменную ниже кнопкой Создать:
Переменная Значение Примечания
OLLAMA_MAX_VRAM 14000000000 Лимит 14 ГБ. Скорректируйте под свой GPU и требования игры.
OLLAMA_NUM_PARALLEL 3 Покрывает асинхронные паттерны вызовов Elite Intel без избытка.
OLLAMA_MAX_LOADED_MODELS 1 Одна модель в VRAM одновременно.
OLLAMA_FLASH_ATTENTION 1 Ускоренный инференс.
OLLAMA_KEEP_ALIVE -1 Держит модель загруженной постоянно.
  1. Нажмите OK. Перезапустите Ollama из меню «Пуск».

Что делают эти настройки

OLLAMA_MAX_VRAM: Жёсткий лимит VRAM, который может использовать Ollama, в байтах. Оставляет остаток для Elite Dangerous. Скорректируйте под свой GPU и требования игры.

OLLAMA_NUM_PARALLEL: Количество одновременно обрабатываемых запросов. Elite Intel выполняет асинхронные вызовы, поэтому слишком низкое значение вызовет сбои. 3 покрывает типичное перекрытие команд и запросов без избыточного выделения ресурсов.

OLLAMA_MAX_LOADED_MODELS: Держит в VRAM только одну модель одновременно.

OLLAMA_FLASH_ATTENTION: Включает Flash Attention, снижающее использование пропускной способности памяти при инференсе. Как правило, быстрее, особенно для повторяющихся запросов.

OLLAMA_KEEP_ALIVE=-1: Держит модель загруженной в VRAM бессрочно. Без этого Ollama может выгрузить модель после периода бездействия, что приведёт к задержке при повторной загрузке.

Шаг 4 Настройка Elite Intel

Откройте вкладку «Настройки» в Elite Intel:

  • Оставьте поле LLM Key пустым (локальный Ollama ключ не требует).
  • LLM Address по умолчанию: http://localhost:11434/api/chat. Если Ollama работает на другом компьютере, замените localhost на IP этого компьютера.
  • LLM Model: задайте tulu3:8b.
  • Command LLM: задайте tulu3:8b.
  • Query LLM: задайте tulu3:8b.
  • Нажмите Stop, затем Start на вкладке AI для применения изменений.

Сообщество 👉Matrix👈