DoLa AI (Dekoding ved å kontrastere lag)

DoLa (Dekoding ved å kontrastere lag) er en spesialisert AI-dekodingsstrategi designet for å redusere hallusinasjoner betydelig i store språkmodeller (LLM) som LLaMA-familien. Teknologien er utviklet gjennom et samarbeid mellom akademia og industri, og fungerer ved å kontrastere output-logittene fra senere "modne" lag mot tidligere "uskikkelige" lag. Denne metoden utnytter observasjonen at faktakunnskap ofte er lokalisert i spesifikke transformatorlag, noe som gjør at modellen kan prioritere sannferdig informasjon uten å kreve ytterligere finjustering eller ekstern kunnskapshenting.

Prosjektet har sin opprinnelse fra forskning utført ved Massachusetts Institute of Technology (MIT) i samarbeid med Microsoft. Siden introduksjonen har det blitt et kjent bidrag til åpen kildekode innen AI-sikkerhet og justering, og hjelper utviklere med å lage mer pålitelige og faktabaserte generative AI-applikasjoner. Implementeringen distribueres primært via GitHub og brukes bredt av forskere som tester grensene for modellens sannferdighet og faktisk nøyaktighet.