Cómo Configurar Ollama en un Servidor Linux con GPU: Despliegue en Producción, Nginx y Seguridad

1. De la Comodidad en Escritorio al Rigor en el Datacenter

Ollama ha democratizado de forma brillante el uso de Modelos de Lenguaje Grande en ordenadores personales gracias a su instalador de un solo clic y su interfaz intuitiva basada en el motor de llama.cpp. Sin embargo, trasladar Ollama a un servidor dedicado en la nube (como Hetzner, OVH, AWS EC2 o servidores propios en rack) para alimentar aplicaciones web comerciales exige aplicar estándares estrictos de seguridad, administración de sistemas y optimización de recursos.

Un servidor con GPU en producción no puede depender de una sesión de terminal abierta con tmux. Debe orquestarse mediante un servicio del sistema tolerante a reinicios (systemd), monitorizarse con métricas de salud y protegerse contra accesos no autorizados mediante un proxy inverso con cifrado SSL moderno. En este tutorial configuraremos una arquitectura de producción paso a paso sobre Ubuntu Server 24.04 LTS.

2. Instalación de Drivers NVIDIA y Verificación CUDA

Antes de instalar Ollama, es preceptivo asegurar que los controladores privativos de NVIDIA y las bibliotecas de cálculo CUDA estén correctamente vinculadas con el kernel de Linux:

# Actualizar repositorios e instalar controladores privativos NVIDIA recomendados
sudo apt update && sudo apt upgrade -y
sudo apt install -y build-essential dkms linux-headers-$(uname -r) ubuntu-drivers-common
sudo ubuntu-drivers autoinstall

# Reiniciar el servidor para cargar los módulos del kernel
sudo reboot

# Tras reiniciar, verificar estado de la GPU
nvidia-smi

Debes observar una tabla detallando el modelo de tu GPU (por ejemplo, RTX 4090 o A100), la versión del driver (550.x o superior) y la versión de CUDA soportada (CUDA 12.x).

3. Instalación de Ollama y Creación del Usuario del Sistema

Ejecutamos el script de instalación oficial de Ollama, el cual crea automáticamente un usuario de sistema dedicado llamado ollama y su grupo correspondiente:

curl -fsSL https://ollama.com/install.sh | sh

Configuración Avanzada del Servicio systemd

Por defecto, Ollama se ejecuta con configuraciones conservadoras pensadas para un solo usuario. Editamos la unidad de servicio para dotarla de capacidad de producción:

sudo systemctl edit ollama.service

Esto abrirá un archivo de anulación (override). Pega la siguiente configuración de variables de entorno:

[Service]
# Vincular estrictamente a localhost para máxima seguridad
Environment="OLLAMA_HOST=127.0.0.1:11434"

# Permitir atender 4 peticiones simultáneas con el mismo modelo
Environment="OLLAMA_NUM_PARALLEL=4"

# Mantener hasta 2 modelos cargados en VRAM al mismo tiempo
Environment="OLLAMA_MAX_LOADED_MODELS=2"

# Mantener los pesos en VRAM durante 24 horas sin descargarlos por inactividad
Environment="OLLAMA_KEEP_ALIVE=24h"

# Ruta para almacenamiento de modelos en disco secundario (opcional)
Environment="OLLAMA_MODELS=/var/lib/ollama/models"

# Asignar límites de descriptores de archivos para alta concurrencia
LimitNOFILE=65536

Guardamos y recargamos el demonio de systemd:

sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo systemctl status ollama

4. Securización con Nginx, Autenticación por Bearer Token y Certificado SSL

Para exponer la API de Ollama de forma segura a clientes remotos (como aplicaciones Next.js, apps móviles o microservicios), configuramos Nginx como proxy inverso. Implementaremos una directiva para exigir una API Key secreta en la cabecera Authorization:

# /etc/nginx/sites-available/ollama-api
map $http_authorization $es_token_valido {
    default 0;
    # Sustituye por tu clave criptográfica segura generada con openssl rand -hex 32
    "Bearer 9f8a3c42e1d74b88bf5a23091cd5e6f7a8b9c0d1e2f3a4b5c6d7e8f9a0b1c2d3" 1;
}

server {
    listen 80;
    server_name api-ia.tudominio.com;
    return 301 https://$host$request_uri;
}

server {
    listen 443 ssl http2;
    server_name api-ia.tudominio.com;

    ssl_certificate /etc/letsencrypt/live/api-ia.tudominio.com/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/api-ia.tudominio.com/privkey.pem;

    # Verificación de API Key obligatoria
    if ($es_token_valido = 0) {
        return 401 '{"error": "Acceso no autorizado: Bearer API Key inválida o ausente"}
';
    }

    # Límites de cuerpo de petición para prompts largos o subida de imágenes multimodales
    client_max_body_size 50M;

    location / {
        proxy_pass http://127.0.0.1:11434;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;

        # OBLIGATORIO para streaming sin pausas
        proxy_buffering off;
        proxy_cache off;
        proxy_read_timeout 600s;
        proxy_send_timeout 600s;
    }
}

5. Blindaje del Cortafuegos con UFW

Garantizamos que solo los puertos legítimos de la web y la administración SSH respondan a peticiones de red:

sudo ufw default deny incoming
sudo ufw default allow outgoing
sudo ufw allow 22/tcp comment 'SSH Seguro'
sudo ufw allow 80/tcp comment 'HTTP Let's Encrypt'
sudo ufw allow 443/tcp comment 'HTTPS API Segura'
sudo ufw enable
sudo ufw status verbose

6. Descarga y Despliegue de Modelos de Producción

Con el servicio levantado, descargamos como usuario ollama los modelos requeridos para el negocio:

# Descarga del modelo de embeddings corporativo
sudo -u ollama ollama pull bge-m3

# Descarga del LLM conversacional y de razonamiento
sudo -u ollama ollama pull deepseek-r1:14b
sudo -u ollama ollama pull llama3.1:8b

Ahora puedes consumir la API desde cualquier lenguaje respetando la compatibilidad nativa con OpenAI:

# Test remoto seguro mediante curl con API Key
curl -X POST https://api-ia.tudominio.com/v1/chat/completions      -H "Authorization: Bearer 9f8a3c42e1d74b88bf5a23091cd5e6f7a8b9c0d1e2f3a4b5c6d7e8f9a0b1c2d3"      -H "Content-Type: application/json"      -d '{
       "model": "deepseek-r1:14b",
       "messages": [{"role": "user", "content": "Verifica que el servidor responde correctamente."}]
     }'

7. Artículos Relacionados en The Calata

Sigue ampliando la infraestructura técnica de tus servicios con nuestras guías especializadas:

• Conoce los requisitos de memoria para modelos avanzados en Despliegue de DeepSeek-R1 en Local.
• Integra ejecución de herramientas externas con Function Calling en Modelos Locales.
• Compara el rendimiento de Ollama frente a motores masivos en vLLM vs TGI para Producción.
• Aprende los formatos de cuantización que utiliza Ollama en Cuantización GGUF vs EXL2 vs AWQ.