Lorax Inference Server

LoRAX (LoRA Exchange) er en specialiseret open-source inference-server designet til at betjene mange finjusterede Large Language Model (LLM) adaptere på en enkelt GPU. Den blev oprindeligt udviklet af Predibase for at løse de beregningsmæssige udfordringer ved at skaleze finjusterede modeller effektivt. Projektet er bygget oven på Rust-baserede rammer som Hugging Face's Text Generation Inference (TGI).

Som et open-source-projekt sker 'produktionen' eller udviklingen globalt gennem bidrag fra fællesskabet, selvom den primære kommercielle drivkraft og vedligeholdelse stammer fra Predibase i USA. Det giver udviklere mulighed for at udskifte LoRA-adaptere dynamisk med minimal latency, hvilket gør det til en hjørnesten for virksomheder, der ønsker at skalere opgavespecifikke AI-modeller uden massive hardwareinvesteringer.