Unsloth AI-software

Unsloth AI (ofte omtalt som 'Unsloth' eller 'Unsloth Souped Up') er et open-source framework, der er specifikt designet til at accelerere og optimere finjusteringen af store sprogmodeller (LLMs) såsom Llama 3, Mistral og Qwen. Grundlagt af brødrene Daniel og Michael Han, opstod mærket for at løse de beregningsmæssige ineffektivitet, der ofte findes i standard deep learning biblioteker. Ved at udnytte brugerdefinerede håndskrevne kerner og specialiserede hukommelsesstyringsteknikker, gør Unsloth det muligt for udviklere at træne modeller betydeligt hurtigere og med meget lavere hukommelsesoverhead sammenlignet med traditionelle metoder.

Projektet er digitalt udviklet og vedligeholdes primært i USA, men drager fordel af en bred bidragyderskare i det globale open-source samfund. Det er blevet et centralt værktøj for udviklere, der ønsker at køre 'QLoRA' eller 'LoRA' finjustering på forbrugerhardware, hvilket gør avanceret AI-udvikling langt mere tilgængelig.

Ejet af Unsloth AI Inc. har mærket sit hovedkontor i San Francisco, Californien. Siden sin oprettelse er virksomheden vokset fra et populært GitHub-arkiv til en venture-backed startup, der har sikret finansiering fra fremtrædende tech-investorer for yderligere at forbedre ydeevnen af generative AI-workflows.