Lorax Inference Server

LoRAX (LoRA Exchange) è un server di inference open-source specializzato, progettato per servire molti adattatori di modelli linguistici di grandi dimensioni (LLM) affinati su una singola GPU. È stato originariamente sviluppato da Predibase per affrontare le sfide computazionali di scalare modelli affinati in modo efficiente. Il progetto è costruito su framework basati su Rust come il Text Generation Inference (TGI) di Hugging Face.

Essendo un progetto open-source, la sua 'produzione' o sviluppo avviene a livello globale grazie ai contributi della comunità, anche se la principale forza trainante commerciale e la manutenzione provengono da Predibase negli Stati Uniti. Permette agli sviluppatori di scambiare adattatori LoRA dinamicamente con un sovraccarico di latenza minimo, rendendolo una pietra miliare per le aziende che cercano di scalare modelli di intelligenza artificiale specifici per compiti senza un massiccio investimento hardware.