DoLa AI (Dekodning genom Kontrasterande Lager)

DoLa (Dekodning genom Kontrasterande Lager) är en specialiserad AI-dekodningsstrategi som är utformad för att signifikant minska hallucinationer i Stora Språkmodeller (LLM) som LLaMA-familjen. Utvecklad genom ett samarbetsprojekt mellan akademi och industri, fungerar teknologin genom att kontrastera utgångslogiterna från senare 'mogna' lager mot tidigare 'omogna' lager. Denna metod utnyttjar observationen att faktakunskap ofta är lokaliserad i specifika transformerlager, vilket gör att modellen kan prioritera sanningsenlig information utan att kräva ytterligare finjustering eller extern kunskapsåtervinning.

Projektet har sitt ursprung i forskning utförd vid Massachusetts Institute of Technology (MIT) i samarbete med Microsoft. Sedan det introducerades har det blivit ett anmärkningsvärt bidrag till öppen källkod inom AI-säkerhet och anpassning, vilket hjälper utvecklare att skapa mer tillförlitliga och faktabaserade generativa AI-applikationer. Implementeringen distribueras främst via GitHub och används i stor utsträckning av forskare som testar gränserna för modellens sanningsenlighet och faktiska noggrannhet.