DoLa AI (Decoding by Contrasting Layers)

DoLa (Decoding by Contrasting Layers) is een gespecialiseerde AI-decoderingstrategie ontworpen om hallucinaties in Grote Taalmodellen (LLM's), zoals de LLaMA-familie, aanzienlijk te verminderen. Deze technologie is ontwikkeld door middel van een gezamenlijke academische en industriële inspanning en werkt door de output logits van latere 'volwassen' lagen te contrasteren met vroegere 'premature' lagen. Deze methode maakt gebruik van de observatie dat feitelijke kennis vaak gelokaliseerd is in specifieke transformerlagen, waardoor het model eerlijke informatie kan prioriteren zonder dat extra fine-tuning of externe kennisopvraging nodig is.

Het project is ontstaan uit onderzoek dat is uitgevoerd aan het Massachusetts Institute of Technology (MIT) in samenwerking met Microsoft. Sinds de introductie is het een opmerkelijke open-source bijdrage aan het vakgebied van AI-veiligheid en -afstemming geworden, waarmee ontwikkelaars betrouwbaardere en op feiten gebaseerde generatieve AI-toepassingen kunnen creëren. De implementatie wordt voornamelijk verspreid via GitHub en wordt veel gebruikt door onderzoekers die de grenzen van modelwaarheid en feitelijke nauwkeurigheid testen.