DoLa AI (Decodierung durch kontrastierende Schichten)

DoLa (Decodierung durch kontrastierende Schichten) ist eine spezialisierte KI-Dekodierungsstrategie, die entwickelt wurde, um die Halluzinationen in großen Sprachmodellen (LLMs) wie der LLaMA-Familie erheblich zu reduzieren. Diese Technologie wurde durch eine Zusammenarbeit zwischen akademischen und industriellen Partnern entwickelt und funktioniert, indem die Ausgabelogits der späteren 'reifen' Schichten mit den früheren 'unreifen' Schichten kontrastiert werden. Diese Methode nutzt die Beobachtung, dass faktisches Wissen oft in spezifischen Transformerschichten lokalisiert ist, wodurch das Modell in der Lage ist, wahrheitsgemäße Informationen zu priorisieren, ohne dass eine zusätzliche Feinabstimmung oder externe Wissensbeschaffung erforderlich ist.

Das Projekt entstand aus Forschungen, die am Massachusetts Institute of Technology (MIT) in Zusammenarbeit mit Microsoft durchgeführt wurden. Seit seiner Einführung ist es zu einem bemerkenswerten Open-Source-Beitrag im Bereich der KI-Sicherheit und -Ausrichtung geworden und hilft Entwicklern, zuverlässigere und faktenbasierte generative KI-Anwendungen zu erstellen. Die Implementierung wird hauptsächlich über GitHub verteilt und von Forschern genutzt, die die Grenzen der Modellwahrheit und der faktischen Genauigkeit testen.