Servidor de Inferencia Lorax

LoRAX (LoRA Exchange) es un servidor de inferencia de código abierto especializado diseñado para servir múltiples adaptadores de Modelos de Lenguaje Grande (LLM) ajustados finamente en una sola GPU. Fue desarrollado originalmente por Predibase para abordar los desafíos computacionales de escalar modelos ajustados de manera eficiente. El proyecto se basa en marcos de trabajo basados en Rust como la Inferencia de Generación de Texto (TGI) de Hugging Face.

Como un proyecto de código abierto, su 'fabricación' o desarrollo ocurre globalmente a través de contribuciones de la comunidad, aunque la fuerza impulsora comercial principal y el mantenimiento provienen de Predibase en los Estados Unidos. Permite a los desarrolladores intercambiar adaptadores LoRA dinámicamente con un mínimo de sobrecarga de latencia, convirtiéndose en una piedra angular para las empresas que buscan escalar modelos de IA específicos para tareas sin realizar una inversión masiva en hardware.