Локальна LLM налаштування на Windows (LM Studio)

Запуск локальної LLM зберігає всі дані приватними та офлайн. Плата за підписку відсутня. Застосовуються витрати на обладнання та електроенергію.

LM Studio є альтернативою Ollama. Вона використовує ті самі моделі та той самий OpenAI-сумісний API. Вибір можна змінити в налаштуваннях будь-коли.

Для роботи потрібні LM Studio та здатний GPU.

Мінімальні вимоги до обладнання

Щоб запустити Elite Dangerous та LLM на одній машині, потрібен мінімум NVIDIA RTX 3060 з 24 GB VRAM.

Порада: Elite Intel можна спрямувати на екземпляр LM Studio, що працює на окремому ПК у вашій мережі. Якщо доступна друга машина зі здатним GPU, ігровий ПК не несе жодного навантаження від інференсу в цій конфігурації.

Рекомендована модель

Модель Потрібно VRAM Примітки
tulu-3.1-8b-supernova Q4_K_M ~5 GB ✅ Рекомендована. Швидка, точна, відмінно підходить для команд і запитів.
tulu-3.1-8b-supernova Q8_0 ~8.5 GB Вища якість, якщо є запас VRAM.
qwen3 8B ~8 GB Експериментальна. Очікуйте випадкових пропущених команд та галюцинацій.

Детальний (дуже детальний) відеопосібник від @DawnTreaderToolsoftheElite

Крок 1 Встановлення LM Studio

Відкрийте PowerShell та виконайте:

irm https://lmstudio.ai/install.ps1 | iex

Це встановлює CLI lms та середовище виконання LM Studio. Після встановлення відкрийте нове вікно PowerShell, щоб зміни набули чинності.

Перевірте, що все працює:

lms --help

Примітка: Якщо настільний додаток LM Studio вже встановлено, CLI lms може бути вже доступний. Виконайте lms --help перед запуском скрипта встановлення.

Крок 2 Завантаження моделі

lms get matrixportalx/Tulu-3.1-8B-SuperNova-Q4_K_M-GGUF

або

lms get Tulu-3.1

та виберіть варіант matrixportalx/Tulu-3.1-8B-SuperNova-Q4_K_M-GGUF (може бути вказаний як Tulu-3.1-8B-SuperNova-Q4_K_M-GGUF).

Щоб переглянути завантажені моделі:

lms ls

Крок 3 Запуск сервера

Завантажте модель та запустіть сервер інференсу:

lms load tulu-3.1-8b-supernova --context-length 8192 --gpu max
lms server start

ПРИМІТКА: Прапорець --context-length 8192 є обов'язковим. Без нього вікно контексту може бути надто малим, що спричиняє обрізання запитів, помилки та галюцинації.

Перевірте, що сервер запущений, відкривши браузер або інше вікно PowerShell і перейшовши до:

http://localhost:1234/v1/models

Ви отримаєте JSON-список завантажених моделей. Рядок ідентифікатора моделі у цій відповіді це те, що ви введете у поле LLM Model в Elite Intel.

Щоб зупинити сервер:

lms server stop

⚠️ Важливо: Сервер LM Studio не переживає перезавантажень. Виконуйте lms server start після кожного перезапуску або скористайтесь одним із варіантів автозапуску нижче.

Крок 4 (Необов'язково) Автозапуск при завантаженні

Доступні два варіанти для підтримки роботи сервера після перезавантажень.

Варіант A Настільний додаток

Якщо встановлено настільний додаток LM Studio, це найпростіший підхід:

  1. Відкрийте LM Studio та натисніть Ctrl + , для відкриття налаштувань.
  2. Поставте галочку «Run LLM server on login».
  3. Закриття додатка згортає його до системного трею та залишає сервер запущеним. При наступному вході він відновлюється автоматично.

Варіант B Планувальник завдань (без графічного інтерфейсу)

  1. Натисніть Win + R, введіть taskschd.msc, натисніть Enter.
  2. Натисніть Create Task на правій панелі.
  3. Вкладка General: назвіть LM Studio Server. Поставте галочку «Run with highest privileges».
  4. Вкладка Triggers: натисніть New → «At log on» → OK.
  5. Вкладка Actions: натисніть New → «Start a program».
    • Program/script: %USERPROFILE%\.lmstudio\bin\lms.exe
    • Add arguments: server start

Щоб також завантажувати модель автоматично, створіть замість цього пакетний файл:

@echo off
%USERPROFILE%\.lmstudio\bin\lms.exe daemon up
%USERPROFILE%\.lmstudio\bin\lms.exe load tulu-3.1-8b-supernova --yes --context-length 8192 --gpu max
%USERPROFILE%\.lmstudio\bin\lms.exe server start

Збережіть як start-lmstudio.bat у постійному місці (наприклад, C:\Scripts\) та вкажіть цей файл у дії планувальника завдань.

Крок 5 Налаштування Elite Intel

Відкрийте вкладку Settings в Elite Intel:

  • Залиште поле LLM Key порожнім (локальна LM Studio не потребує ключа).
  • LLM Address: встановіть http://localhost:1234/v1/chat/completions. Якщо LM Studio знаходиться на іншій машині, замініть localhost на IP-адресу тієї машини.
  • LLM Model: вставте рядок ідентифікатора моделі з http://localhost:1234/v1/models.
  • Command LLM: встановіть той самий ідентифікатор моделі.
  • Query LLM: встановіть той самий ідентифікатор моделі.
  • Натисніть Stop, а потім Start на вкладці AI для застосування змін.

Community 👉Matrix👈