DoLa AI (Decoding by Contrasting Layers)

DoLa (Decoding by Contrasting Layers) è una strategia di decodifica AI specializzata progettata per ridurre significativamente le allucinazioni nei Modelli di Linguaggio Ampli (LLM) come la famiglia LLaMA. Sviluppata attraverso uno sforzo collaborativo accademico e industriale, la tecnologia funziona confrontando i logit di output degli strati 'maturi' successivi con quelli 'prematuri' precedenti. Questo metodo sfrutta l'osservazione che la conoscenza fattuale è spesso localizzata in strati specifici del trasformatore, permettendo al modello di dare priorità alle informazioni veritiere senza richiedere ulteriori affinamenti o recupero di conoscenze esterne.

Il progetto è nato da ricerche condotte presso il Massachusetts Institute of Technology (MIT) in partnership con Microsoft. Dalla sua introduzione, è diventato un contributo open-source di rilievo nel campo della sicurezza e allineamento dell'IA, aiutando gli sviluppatori a creare applicazioni di IA generativa più affidabili e basate su fatti. L'implementazione è principalmente distribuita tramite GitHub ed è ampiamente utilizzata da ricercatori che testano i confini della veridicità e dell'accuratezza fattuale dei modelli.