Lokales LLM – Linux-Setup (LM Studio)

Ein lokales LLM zu betreiben hält alle Daten privat und offline. Es gibt keine Abonnementgebühren. Hardware- und Stromkosten fallen an.

Es erfordert LM Studio und eine leistungsfähige GPU.

Mindest-Hardware

Um Elite Dangerous und das LLM auf demselben Rechner zu betreiben, ist mindestens eine NVIDIA RTX 3060 mit 12 GB VRAM erforderlich. Bei dieser Spezifikation ist der Leistungsspielraum begrenzt.

Tipp: Elite Intel kann auf eine LM Studio-Instanz verweisen, die auf einem separaten PC in deinem Netzwerk läuft. Wenn ein zweiter Rechner mit einer leistungsfähigen GPU verfügbar ist, trägt der Spiele-PC in dieser Konfiguration keine Inferenzlast.

Empfohlenes Modell

Modell Benötigter VRAM Hinweise
google/gemma-4-e4b ~6,3 GB ✅ Erforderlich

Warum dieses Modell? Es unterstützt das Function Calling, das der Begleiter benötigt. Ein Modell, das keinen Tool-Aufruf erzeugen kann, kann die App nicht steuern – ganz gleich, wie gut es formuliert. Siehe LLM auswählen.

Schritt 1 – LM Studio installieren

curl -fsSL https://lmstudio.ai/install.sh | bash

Das Installationsprogramm legt alles in ~/.lmstudio/ ab und fügt das lms-CLI-Werkzeug hinzu. Füge nach Abschluss das CLI zu deinem PATH hinzu:

# Dies zu deiner ~/.bashrc hinzufügen
export PATH="$HOME/.lmstudio/bin:$PATH"

Dann die Shell neu laden:

source ~/.bashrc

Prüfen, ob es funktioniert:

lms --help

Schritt 2 – Das Modell herunterladen

lms get google/gemma-4-e4b

Wenn der Name nicht exakt aufgelöst wird, listet lms get die gefundenen Kandidaten auf; wähle einen mit den Pfeiltasten und Enter.

Um heruntergeladene Modelle aufzulisten:

lms ls

Dies ist der Standardweg. Allerdings hat LM Studio einen bekannten Fehler. In einigen Fällen schlägt der Download fehl mit: Error: No staff picks found with the specified search criteria.

Lade die GGUF-Datei in diesem Fall von der HuggingFace-Seite des Modells herunter und importiere sie:

lms import /path/to/the-model.gguf

Schritt 3 – Den Server starten

Das Modell laden und den Inferenzserver starten:

lms load google/gemma-4-e4b --context-length 8192 --gpu max
lms server start

--gpu max verlagert die Inferenz auf die GPU für maximale Leistung.

Überprüfen, ob er läuft:

curl http://localhost:1234/v1/models

Du solltest eine JSON-Liste der geladenen Modelle erhalten. Die Modell-ID-Zeichenfolge in dieser Antwort gibst du in das Feld LLM-Modell von Elite Intel ein.

Den Server stoppen:

lms server stop

⚠️ Wichtig: Der LM Studio-Server überlebt keine Neustarts. Führe lms server start nach jedem Neustart erneut aus oder richte den optionalen Autostart unten ein.

Schritt 4 – (Optional) Autostart beim Booten

Um LM Studio automatisch zu starten, richte es als Benutzer-systemd-Dienst ein. Dieser läuft unter deiner eigenen Sitzung und nicht als Systemdienst. Er startet, nachdem die Desktop-Umgebung hochgefahren ist. Root-Zugriff ist nicht erforderlich.

Finde deine Benutzer-ID heraus. (Ersetze den Benutzernamen durch deinen tatsächlichen Benutzernamen)

id -u DEIN_BENUTZERNAME

Merke dir diese Zahl. Du benötigst sie später für die Konfiguration.

Erstelle das Benutzer-systemd-Verzeichnis, falls es nicht existiert:

mkdir -p ~/.config/systemd/user

Erstelle die Service-Datei:

nano ~/.config/systemd/user/lmstudio.service

Folgenden Inhalt einfügen:

[Unit]
Description=LM Studio Server
After=network.target

[Service]
Type=oneshot
RemainAfterExit=yes
Environment="HOME=/home/DEIN_BENUTZERNAME"
Environment="PATH=/home/DEIN_BENUTZERNAME/.lmstudio/bin:/usr/local/bin:/usr/bin:/bin"
Environment="XDG_RUNTIME_DIR=/run/user/DEINE_UID"
ExecStartPre=/home/DEIN_BENUTZERNAME/.lmstudio/bin/lms daemon up
ExecStartPre=/home/DEIN_BENUTZERNAME/.lmstudio/bin/lms load google/gemma-4-e4b --yes --context-length 8192
ExecStart=/home/DEIN_BENUTZERNAME/.lmstudio/bin/lms server start --bind 0.0.0.0 --port 1234
ExecStop=/home/DEIN_BENUTZERNAME/.lmstudio/bin/lms server stop
ExecStopPost=/home/DEIN_BENUTZERNAME/.lmstudio/bin/lms daemon down

[Install]
WantedBy=default.target

DEIN_BENUTZERNAME durch deinen Linux-Benutzernamen und DEINE_UID durch deine Benutzer-ID ersetzen. So findest du deine UID:

id -u

⚠️ Warum XDG_RUNTIME_DIR? Benutzerdienste laufen in einer vereinfachten Umgebung, die möglicherweise keine Sitzungsvariablen enthält. LM Studio verwendet XDG_RUNTIME_DIR für IPC. Ohne diese Variable kann der Dienst stillschweigend fehlschlagen, auch wenn lms vom Terminal aus korrekt funktioniert. Dies ist die häufigste Ursache für Dienstfehler, wenn die manuelle Ausführung erfolgreich ist.

Aktivieren und starten:

systemctl --user daemon-reload
systemctl --user enable lmstudio.service
systemctl --user start lmstudio.service

Überprüfen, ob es läuft:

systemctl --user status lmstudio.service
curl http://localhost:1234/v1/models

Fehlerbehebung: Wenn der Dienst fehlschlägt, Journal prüfen:

journalctl --user -xeu lmstudio.service --no-pager | tail -40

Wenn dort „Failed to load model" steht, lms ls ausführen und bestätigen, dass der Modellname genau dem in der Service-Datei entspricht.

Schritt 4b – (Optional) Langsame Inferenz nach dem Boot beheben

Einige Benutzer erleben nach dem Start langsame Inferenzantworten von LM Studio. Das Problem löst sich sofort nach einem manuellen Dienst-Neustart. Dies wird durch eine Eigenart bei der Initialisierung des LM Studio-Daemons verursacht. Der erste Kaltstart kann die Inferenzlaufzeit in einem beeinträchtigten Zustand hinterlassen.

Wenn nach einem Neustart langsame Antworten auftreten und sich nach einem manuellen Neustart auflösen, automatisiert dieser Timer die Lösung.

Einen Begleitdienst erstellen:

nano ~/.config/systemd/user/lmstudio-restart.service

[Unit]
Description=LM Studio post-boot restart
After=lmstudio.service

[Service]
Type=oneshot
ExecStart=systemctl --user restart lmstudio.service

Den Timer erstellen:

nano ~/.config/systemd/user/lmstudio-restart.timer

[Unit]
Description=Restart LM Studio 2 minutes after login

[Timer]
OnBootSec=2min
Unit=lmstudio-restart.service

[Install]
WantedBy=timers.target

Den Timer aktivieren:

systemctl --user daemon-reload
systemctl --user enable --now lmstudio-restart.timer

Der Timer wartet 2 Minuten nach dem Login, startet den LM Studio-Dienst einmal neu und bleibt dann inaktiv. Wenn keine langsame Inferenz auftritt, ist dieser Schritt nicht erforderlich.

Schritt 5 – Elite Intel konfigurieren

Öffne den Einstellungs-Tab in Elite Intel:

  • Das Feld LLM-Schlüssel leer lassen (lokales LM Studio benötigt keinen Schlüssel).
  • LLM-Adresse: auf http://localhost:1234/v1/chat/completions setzen. Wenn LM Studio auf einem anderen Rechner läuft, localhost durch die IP dieses Rechners ersetzen.
  • LLM-Modell: die Modell-ID-Zeichenfolge aus curl http://localhost:1234/v1/models einfügen.
  • Befehls-LLM: auf dieselbe Modell-ID setzen.
  • Abfrage-LLM: auf dieselbe Modell-ID setzen.
  • Auf dem KI-Tab auf Stop und dann auf Start klicken, um Änderungen zu übernehmen.

Community 👉Matrix👈