Lorax Inference Server

LoRAX (LoRA Exchange) est un serveur d'inférence open-source spécialisé, conçu pour servir de nombreux adaptateurs de modèles de langage de grande taille (LLM) ajustés sur un seul GPU. Il a été initialement développé par Predibase pour relever les défis computationnels liés à l'échelle efficace des modèles ajustés. Le projet est construit sur des frameworks basés sur Rust comme l'Inference de Génération de Texte (TGI) de Hugging Face.

En tant que projet open-source, sa 'fabrication' ou son développement se fait à l'échelle mondiale grâce aux contributions de la communauté, bien que la force motrice commerciale principale et la maintenance proviennent de Predibase aux États-Unis. Il permet aux développeurs de changer dynamiquement les adaptateurs LoRA avec un overhead de latence minimal, en faisant un pilier pour les entreprises cherchant à étendre des modèles d'IA spécifiques aux tâches sans un investissement matériel massif.