LLM local - Configuración en Linux (Ollama)

Ejecutar un LLM local mantiene todos los datos privados y sin conexión. No hay cuotas de suscripción. Se aplican costes de hardware y electricidad.

Requiere Ollama y una GPU capaz.

Hardware mínimo

Para ejecutar Elite Dangerous y el LLM en la misma máquina, se requiere como mínimo una NVIDIA RTX 3060 con 12 GB de VRAM. El margen de rendimiento es limitado con esta especificación.

Consejo: Elite Intel puede apuntarse a una instancia de Ollama que se ejecute en un PC separado de tu red. Si hay disponible una segunda máquina con una GPU capaz, el PC del juego no llevará ninguna carga de inferencia en esta configuración.

Modelo recomendado

Modelo VRAM requerida Notas
tulu-3.1-8b-supernova Q4_K_M ~5 GB ✅ Recomendado para V1.0
google/gemma-4-e4b ~6,3 GB ✅ Recomendado para V1.1

¿Qué modelo? tulu-3.1-8b-supernova es el modelo recomendado para V1.0. V1.1 cambia a google/gemma-4-e4b, que admite el function calling necesario para la nueva función de compañero. Los comandos siguientes usan el modelo de V1.1: en V1.0, sustitúyelo por tulu-3.1-8b-supernova.

Nota: Para la inferencia local más rápida, considera LM Studio con matrixportalx/tulu-3.1-8b-supernova. En las pruebas, es notablemente más rápido que Ollama en el mismo hardware con el mismo modelo.

Paso 1 - Instalar Ollama

curl -fsSL https://ollama.com/install.sh | sh

Ollama se instala como un servicio de systemd y se inicia automáticamente.

Paso 2 - Descargar un modelo recomendado

Para V1.1, descarga google/gemma-4-e4b:

ollama pull google/gemma-4-e4b

Para V1.0, descarga tulu-3.1-8b-supernova:

ollama pull hf.co/matrixportalx/Tulu-3.1-8B-SuperNova-Q4_K_M-GGUF

Paso 3 - (Opcional) Ajustar el servicio de Ollama

Ollama funciona sin ajustes. La siguiente configuración mejora la gestión de la VRAM cuando se ejecuta junto a Elite Dangerous.

sudo nano /etc/systemd/system/ollama.service.d/override.conf

Pega esto:

[Service]
Environment="OLLAMA_MAX_VRAM=14000000000"
Environment="OLLAMA_DEBUG=0"
Environment="OLLAMA_NUM_PARALLEL=3"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_KEEP_ALIVE=-1"
Nice=10
IOSchedulingClass=best-effort
IOSchedulingPriority=5

Luego recarga y reinicia:

sudo systemctl daemon-reload
sudo systemctl restart ollama.service

Qué hacen estos ajustes

OLLAMA_MAX_VRAM: Límite máximo de VRAM que puede usar Ollama, en bytes. 14000000000 = 14 GB. Deja el resto para Elite Dangerous. Ajústalo según tu GPU y los requisitos del juego.

OLLAMA_NUM_PARALLEL: Número de solicitudes que Ollama gestiona simultáneamente. Elite Intel realiza llamadas asíncronas, por lo que establecer esto demasiado bajo provoca fallos. 3 cubre el solapamiento típico de comandos y consultas sin sobreasignar.

OLLAMA_MAX_LOADED_MODELS: Mantiene solo un modelo en la VRAM a la vez.

OLLAMA_FLASH_ATTENTION: Activa Flash Attention, que reduce el uso del ancho de banda de memoria durante la inferencia. Generalmente más rápido, especialmente para solicitudes repetidas.

OLLAMA_KEEP_ALIVE=-1: Mantiene el modelo cargado en la VRAM indefinidamente. Sin esto, Ollama puede descargar el modelo tras un período de inactividad, incurriendo en una penalización de recarga en la siguiente solicitud.

Paso 4 - Configurar Elite Intel

Abre la pestaña Ajustes en Elite Intel:

  • Deja el campo Clave LLM en blanco (Ollama local no requiere ninguna).
  • Dirección LLM tiene como valor predeterminado http://localhost:11434/api/chat. Si Ollama está en otra máquina, sustituye localhost por la IP de esa máquina.
  • LLM de comandos: establécelo en google/gemma-4-e4b (o el nombre que muestra ollama ls).
  • LLM de consultas: establécelo en google/gemma-4-e4b (o el nombre que muestra ollama ls).
  • Haz clic en Detener y luego en Iniciar en la pestaña de IA para aplicar los cambios.

Comunidad 👉Matrix👈