Infraestructura
IA local
Pasarela de modelos de lenguaje ejecutándose en el propio servidor, compartida por varias aplicaciones.
Qué es
Un servicio que ejecuta modelos de lenguaje dentro del servidor y los ofrece a las demás aplicaciones por una única puerta, con caché, métricas y equivalencias entre modelos.
Objetivo
Usar modelos de lenguaje sin enviar los datos de los clientes a un tercero ni pagar por consulta.
Los datos no salen de la máquina
Cuando el texto que procesa un modelo son pedidos, facturas o datos personales de clientes, mandarlo a un servicio de terceros es una cesión de datos que hay que justificar y declarar en la política de privacidad. Ejecutando el modelo en el propio servidor esa cesión no existe. Además, una capa intermedia traduce nombres de modelos y reutiliza respuestas repetidas, para que las aplicaciones no dependan de qué modelo esté instalado hoy.
Stack
Dónde encaja
Lo que sostiene todo lo demás: servidor, despliegues, correo y modelos en local.