Lorax Inference Server

LoRAX (LoRA Exchange) är en specialiserad öppen källkod inference-server som är designad för att använda många finjusterade Large Language Model (LLM) adaptrar på en enda GPU. Den utvecklades ursprungligen av Predibase för att hantera de beräkningsutmaningar som uppstår när man effektivt skalar finjusterade modeller. Projektet är byggt på rust-baserade ramverk som Hugging Faces Text Generation Inference (TGI).

Som ett öppen källkodsprojekt sker dess 'tillverkning' eller utveckling globalt genom samhällsbidrag, även om den främsta kommersiella drivkraften och underhållet har sin grund i Predibase i USA. Det gör det möjligt för utvecklare att byta LoRA-adaptrar dynamiskt med minimal latensöverhäng, vilket gör det till en hörnsten för företag som vill skala upp uppgiftspecifika AI-modeller utan enorma hårdvaruinvesteringar.