Локальна LLM налаштування на Windows (LM Studio)

Запуск локальної LLM зберігає всі дані приватними та офлайн. Плата за підписку відсутня. Застосовуються витрати на обладнання та електроенергію.

Для роботи потрібні LM Studio та здатний GPU.

Мінімальні вимоги до обладнання

Щоб запустити Elite Dangerous та LLM на одній машині, потрібен мінімум NVIDIA RTX 3060 з 24 GB VRAM.

Порада: Elite Intel можна спрямувати на екземпляр LM Studio, що працює на окремому ПК у вашій мережі. Якщо доступна друга машина зі здатним GPU, ігровий ПК не несе жодного навантаження від інференсу в цій конфігурації.

Рекомендована модель

Модель Потрібно VRAM Примітки
google/gemma-4-e4b ~6.3 GB ✅ Потрібно

Чому саме ця модель? Вона підтримує виклик функцій, потрібний компаньйону. Модель, яка не вміє формувати виклик інструмента, не зможе керувати застосунком, хоч би як добре вона писала. Див. Обрати LLM.

Детальний (дуже детальний) відеопосібник від @DawnTreaderToolsoftheElite

Крок 1 Встановлення LM Studio

Відкрийте PowerShell та виконайте:

irm https://lmstudio.ai/install.ps1 | iex

Це встановлює CLI lms та середовище виконання LM Studio. Після встановлення відкрийте нове вікно PowerShell, щоб зміни набули чинності.

Перевірте, що все працює:

lms --help

Примітка: Якщо настільний додаток LM Studio вже встановлено, CLI lms може бути вже доступний. Виконайте lms --help перед запуском скрипта встановлення.

Крок 2 Завантаження моделі

lms get google/gemma-4-e4b

Якщо ім'я не збігається точно, lms get покаже знайдені варіанти — оберіть потрібний стрілками та клавішею Enter.

Щоб переглянути завантажені моделі:

lms ls

Крок 3 Запуск сервера

Завантажте модель та запустіть сервер інференсу:

lms load google/gemma-4-e4b --context-length 8192 --gpu max
lms server start

ПРИМІТКА: Прапорець --context-length 8192 є обов'язковим. Без нього вікно контексту може бути надто малим, що спричиняє обрізання запитів, помилки та галюцинації.

Перевірте, що сервер запущений, відкривши браузер або інше вікно PowerShell і перейшовши до:

http://localhost:1234/v1/models

Ви отримаєте JSON-список завантажених моделей. Рядок ідентифікатора моделі у цій відповіді це те, що ви введете у поле LLM Model в Elite Intel.

Щоб зупинити сервер:

lms server stop

⚠️ Важливо: Сервер LM Studio не переживає перезавантажень. Виконуйте lms server start після кожного перезапуску або скористайтесь одним із варіантів автозапуску нижче.

Крок 4 (Необов'язково) Автозапуск при завантаженні

Доступні два варіанти для підтримки роботи сервера після перезавантажень.

Варіант A Настільний додаток

Якщо встановлено настільний додаток LM Studio, це найпростіший підхід:

  1. Відкрийте LM Studio та натисніть Ctrl + , для відкриття налаштувань.
  2. Поставте галочку «Run LLM server on login».
  3. Закриття додатка згортає його до системного трею та залишає сервер запущеним. При наступному вході він відновлюється автоматично.

Варіант B Планувальник завдань (без графічного інтерфейсу)

  1. Натисніть Win + R, введіть taskschd.msc, натисніть Enter.
  2. Натисніть Create Task на правій панелі.
  3. Вкладка General: назвіть LM Studio Server. Поставте галочку «Run with highest privileges».
  4. Вкладка Triggers: натисніть New → «At log on» → OK.
  5. Вкладка Actions: натисніть New → «Start a program».
    • Program/script: %USERPROFILE%\.lmstudio\bin\lms.exe
    • Add arguments: server start

Щоб також завантажувати модель автоматично, створіть замість цього пакетний файл:

@echo off
%USERPROFILE%\.lmstudio\bin\lms.exe daemon up
%USERPROFILE%\.lmstudio\bin\lms.exe load google/gemma-4-e4b --yes --context-length 8192 --gpu max
%USERPROFILE%\.lmstudio\bin\lms.exe server start

Збережіть як start-lmstudio.bat у постійному місці (наприклад, C:\Scripts\) та вкажіть цей файл у дії планувальника завдань.

Крок 5 Налаштування Elite Intel

Відкрийте вкладку Settings в Elite Intel:

  • Залиште поле LLM Key порожнім (локальна LM Studio не потребує ключа).
  • LLM Address: встановіть http://localhost:1234/v1/chat/completions. Якщо LM Studio знаходиться на іншій машині, замініть localhost на IP-адресу тієї машини.
  • LLM Model: вставте рядок ідентифікатора моделі з http://localhost:1234/v1/models.
  • Command LLM: встановіть той самий ідентифікатор моделі.
  • Query LLM: встановіть той самий ідентифікатор моделі.
  • Натисніть Stop, а потім Start на вкладці AI для застосування змін.

Community 👉Matrix👈