La Inteligencia Artificial (IA) generativa es revolucionaria, pero enviar documentos internos, contratos, registros de servidores o código fuente propietario a la API de OpenAI o Anthropic genera (o debería generar) alertas rojas en el departamento legal de cualquier empresa.
En REACTIV estamos implementando Modelos de Lenguaje Grande (LLMs) ejecutados de forma 100% local para nuestros clientes. Los datos nunca salen de la infraestructura de la empresa.
La división práctica: Qué es local y qué no
No necesitas un modelo con mil billones de parámetros para resolver problemas de negocio.
- Lo que NO debes intentar en casa: Modelos de propósito general masivos para competir con GPT-4 en razonamiento abstracto extremo. Los costos de hardware no lo justifican.
- Lo que SÍ vale la pena (y funciona increíble): Modelos cuantizados de 8B a 70B de parámetros (ej. Llama 3, Mistral, Qwen) optimizados para tareas específicas: resumir logs, corregir código interno, traducir, estructurar JSON o asistir en documentación.
Herramientas clave: Ollama y Open WebUI
La era de compilar software complejo de IA se terminó. Con Ollama, correr un LLM internamente se parece mucho a manejar contenedores de Docker.
- Con un comando puedes descargar un modelo e interactuar con él mediante una API compatible con OpenAI.
- Agregando Open WebUI, le entregas a tu equipo una interfaz idéntica a ChatGPT, pero conectada a los servidores propios de la empresa, gestionada con tus roles y permisos (Single Sign-On).
Expectativas de Hardware realistas
No necesitas comprar clusters de un millón de dólares.
- Para modelos rápidos (8B parámetros): 16GB de RAM y una GPU moderna de consumo o de servidor de entrada son suficientes.
- Para modelos avanzados (70B parámetros): Servidores con al menos 64-128GB de RAM unificada (como infraestructura ARM o Macs corporativos) o configuraciones multi-GPU accesibles.
Cómo puede ayudarte REACTIV
La adopción segura de IA es nuestro enfoque. Podemos:
- Evaluar los casos de uso de tu empresa para IA generativa.
- Desplegar infraestructura de LLMs locales con Ollama y herramientas RAG (para que la IA lea tu propia documentación).
- Integrar la API local de tus modelos con herramientas de automatización (n8n).