Lorax Inference Server

LoRAX (LoRA Exchange) é um servidor de inferência de código aberto especializado, projetado para servir muitos adaptadores de Modelos de Linguagem Grande (LLM) afinados em uma única GPU. Foi originalmente desenvolvido pela Predibase para abordar os desafios computacionais de escalar modelos afinados de forma eficiente. O projeto é construído sobre estruturas baseadas em Rust, como o Text Generation Inference (TGI) da Hugging Face.

Como um projeto de código aberto, sua 'fabricação' ou desenvolvimento acontece globalmente através de contribuições da comunidade, embora a principal força motriz comercial e manutenção sejam originárias da Predibase, nos Estados Unidos. Ele permite que os desenvolvedores troquem adaptadores LoRA dinamicamente com uma sobrecarga de latência mínima, tornando-se uma pedra angular para empresas que buscam escalar modelos de IA específicos de tarefas sem um investimento massivo em hardware.