Локальный LLM установка на Windows (LM Studio)

Запуск локального LLM обеспечивает полную конфиденциальность данных и работу офлайн. Подписка не требуется. Учитываются затраты на оборудование и электроэнергию.

LM Studio альтернатива Ollama. Использует те же модели и тот же OpenAI-совместимый API. Выбор можно изменить в настройках в любое время.

Требуется LM Studio и мощный GPU.

Минимальные требования к оборудованию

Для запуска Elite Dangerous и LLM на одном компьютере требуется минимум NVIDIA RTX 3060 с 24 ГБ VRAM.

Подсказка: Elite Intel можно направить на экземпляр LM Studio, работающий на отдельном компьютере в вашей сети. Если доступна вторая машина с мощным GPU, игровой ПК не несёт нагрузки инференса в этой конфигурации.

Рекомендуемая модель

Модель Требуется VRAM Примечания
tulu-3.1-8b-supernova Q4_K_M ~5 ГБ ✅ Рекомендуется. Быстрая, точная, отлично работает для команд и запросов.
tulu-3.1-8b-supernova Q8_0 ~8.5 ГБ Более высокое качество, если позволяет VRAM.
qwen3 8B ~8 ГБ Экспериментальная. Возможны пропущенные команды и галлюцинации.

Подробный видеоурок от @DawnTreaderToolsoftheElite

Шаг 1 Установка LM Studio

Откройте PowerShell и выполните:

irm https://lmstudio.ai/install.ps1 | iex

Это устанавливает CLI lms и среду выполнения LM Studio. После установки откройте новое окно PowerShell для применения изменений.

Проверьте, что всё работает:

lms --help

Примечание: Если десктопное приложение LM Studio уже установлено, CLI lms может быть уже доступен. Выполните lms --help перед запуском установочного скрипта.

Шаг 2 Загрузка модели

lms get matrixportalx/Tulu-3.1-8B-SuperNova-Q4_K_M-GGUF

или

lms get Tulu-3.1

и выберите вариант matrixportalx/Tulu-3.1-8B-SuperNova-Q4_K_M-GGUF (может отображаться как Tulu-3.1-8B-SuperNova-Q4_K_M-GGUF).

Чтобы просмотреть загруженные модели:

lms ls

Шаг 3 Запуск сервера

Загрузите модель и запустите сервер инференса:

lms load tulu-3.1-8b-supernova --context-length 8192 --gpu max
lms server start

ПРИМЕЧАНИЕ: Флаг --context-length 8192 обязателен. Без него контекстное окно может быть слишком маленьким, что приведёт к усечению промпта, сбоям и галлюцинациям.

Проверьте работу, открыв браузер или другое окно PowerShell и перейдя по адресу:

http://localhost:1234/v1/models

Вы должны получить JSON-список загруженных моделей. Строка model ID в этом ответе то, что нужно ввести в поле LLM Model в Elite Intel.

Остановить сервер:

lms server stop

⚠️ Важно: Сервер LM Studio не переживает перезагрузку. После каждого перезапуска выполняйте lms server start снова или воспользуйтесь одним из вариантов автозапуска ниже.

Шаг 4 (Необязательно) Автозапуск при загрузке системы

Доступны два варианта для поддержания работы сервера после перезагрузки.

Вариант A Десктопное приложение

Если установлено десктопное приложение LM Studio, это самый простой способ:

  1. Откройте LM Studio и нажмите Ctrl + , для открытия настроек.
  2. Установите флажок «Run LLM server on login».
  3. Закрытие приложения сворачивает его в системный трей с продолжением работы сервера. При следующем входе в систему оно восстанавливается автоматически.

Вариант B Планировщик задач (без GUI / в фоне)

  1. Нажмите Win + R, введите taskschd.msc, нажмите Enter.
  2. Нажмите Create Task на правой панели.
  3. Вкладка General: назовите задачу LM Studio Server. Установите флажок «Run with highest privileges».
  4. Вкладка Triggers: нажмите New → «At log on» → OK.
  5. Вкладка Actions: нажмите New → «Start a program».
    • Program/script: %USERPROFILE%\.lmstudio\bin\lms.exe
    • Add arguments: server start

Для автоматической загрузки модели создайте bat-файл:

@echo off
%USERPROFILE%\.lmstudio\bin\lms.exe daemon up
%USERPROFILE%\.lmstudio\bin\lms.exe load tulu-3.1-8b-supernova --yes --context-length 8192 --gpu max
%USERPROFILE%\.lmstudio\bin\lms.exe server start

Сохраните его как start-lmstudio.bat в постоянном месте (например, C:\Scripts\) и укажите на этот файл в действии планировщика задач.

Шаг 5 Настройка Elite Intel

Откройте вкладку «Настройки» в Elite Intel:

  • Оставьте поле LLM Key пустым (локальный LM Studio ключ не требует).
  • LLM Address: установите http://localhost:1234/v1/chat/completions. Если LM Studio работает на другом компьютере, замените localhost на IP этого компьютера.
  • LLM Model: вставьте строку model ID из http://localhost:1234/v1/models.
  • Command LLM: задайте тот же model ID.
  • Query LLM: задайте тот же model ID.
  • Нажмите Stop, затем Start на вкладке AI для применения изменений.

Сообщество 👉Matrix👈