Локальна мовна модель налаштування Windows (Ollama)

Запуск локальної мовної моделі забезпечує повну конфіденційність даних та роботу офлайн. Підписка не потрібна. Враховуються витрати на обладнання та електроенергію.

Необхідні Ollama і потужний GPU.

Мінімальні вимоги до обладнання

Для запуску Elite Dangerous і мовної моделі на одній машині потрібна щонайменше NVIDIA RTX 3060 з 12 ГБ VRAM. Запас продуктивності при цій конфігурації обмежений.

Порада: Elite Intel можна спрямувати на екземпляр Ollama, що працює на окремому ПК у вашій мережі. Якщо доступна друга машина з потужним GPU, ігровий ПК не несе навантаження інференсу в цій конфігурації.

Рекомендована модель

Модель Необхідно VRAM Примітки
tulu3:8b Q4_K_M ~5 ГБ ✅ Рекомендується. Надійна робота з командами та запитами.
qwen3 8B ~8 ГБ Експериментальна. Можливі пропущені команди та галюцинації.

Примітка: Для найшвидшого локального інференсу розгляньте LM Studio з matrixportalx/tulu-3.1-8b-supernova. За результатами тестування, він помітно швидший за Ollama на тому самому обладнанні з тією самою моделлю.

Крок 1 Встановлення Ollama

  • Перейдіть на https://ollama.com/download
  • Завантажте та запустіть OllamaSetup.exe. Права адміністратора не потрібні.
  • Ollama встановлюється і запускається в системному треї. Автозапуск при вході в систему увімкнено.

Крок 2 Завантаження моделі

Відкрийте Командний рядок або PowerShell і виконайте:

ollama pull tulu3:8b

Або експериментальні альтернативи:

ollama pull qwen3:8b

Крок 3 (Необов'язково) Налаштування конфігурації

Ollama працює без додаткового налаштування. Наведена конфігурація покращує керування VRAM при спільному запуску з Elite Dangerous.

У Windows Ollama зчитує конфігурацію зі змінних середовища користувача.

  1. Клацніть правою кнопкою миші на значку Ollama в треї та виберіть Quit.
  2. Відкрийте Параметри та знайдіть «змінні середовища».
  3. Натисніть «Змінити змінні середовища для вашого облікового запису».
  4. Додайте кожну змінну нижче, натискаючи Створити:
Змінна Значення Примітки
OLLAMA_MAX_VRAM 14000000000 Ліміт 14 ГБ. Скоригуйте під свій GPU і вимоги гри.
OLLAMA_NUM_PARALLEL 3 Покриває асинхронні шаблони викликів Elite Intel без надмірного виділення.
OLLAMA_MAX_LOADED_MODELS 1 Одна модель у VRAM одночасно.
OLLAMA_FLASH_ATTENTION 1 Прискорений інференс.
OLLAMA_KEEP_ALIVE -1 Тримає модель завантаженою постійно.
  1. Натисніть OK. Перезапустіть Ollama з меню «Пуск».

Що роблять ці налаштування

OLLAMA_MAX_VRAM: Жорсткий ліміт VRAM, яку може використовувати Ollama, у байтах. Решта залишається для Elite Dangerous. Скоригуйте відповідно до вашого GPU та вимог гри.

OLLAMA_NUM_PARALLEL: Кількість запитів, що обробляються одночасно. Elite Intel виконує асинхронні виклики, тому занадто низьке значення спричинить збої. 3 покриває типове перекриття команд і запитів без надмірного виділення ресурсів.

OLLAMA_MAX_LOADED_MODELS: Тримає в VRAM лише одну модель одночасно.

OLLAMA_FLASH_ATTENTION: Вмикає Flash Attention, що знижує використання пропускної здатності пам'яті під час інференсу. Як правило, швидше особливо для повторюваних запитів.

OLLAMA_KEEP_ALIVE=-1: Тримає модель завантаженою у VRAM безстроково. Без цього Ollama може вивантажити модель після певного часу бездіяльності, що призведе до затримки при наступному запиті.

Крок 4 Налаштування Elite Intel

Відкрийте вкладку «Settings» в Elite Intel:

  • Залиште поле LLM Key порожнім (локальний Ollama ключ не потребує).
  • LLM Address за замовчуванням: http://localhost:11434/api/chat. Якщо Ollama працює на іншій машині, замініть localhost на IP-адресу тієї машини.
  • LLM Model: задайте tulu3:8b.
  • Command LLM: задайте tulu3:8b.
  • Query LLM: задайте tulu3:8b.
  • Натисніть Stop, а потім Start на вкладці AI, щоб застосувати зміни.

Спільнота 👉Matrix👈