DoLa AI (Décodage par Couche de Contraste)

DoLa (Décodage par Couche de Contraste) est une stratégie de décodage IA spécialisée conçue pour réduire significativement les hallucinations dans les Modèles de Langage de Grande Taille (LLM) tels que ceux de la famille LLaMA. Développée grâce à un effort collaboratif entre le milieu académique et l'industrie, la technologie fonctionne en contrastant les logits de sortie des couches 'matures' ultérieures avec celles 'immatures' antérieures. Cette méthode exploite l'observation que les connaissances factuelles sont souvent localisées dans des couches spécifiques de transformateur, permettant au modèle de privilégier les informations véridiques sans nécessiter d'affinage supplémentaire ou de récupération de connaissances externes.

Le projet est issu de recherches menées au Massachusetts Institute of Technology (MIT) en partenariat avec Microsoft. Depuis son introduction, il est devenu une contribution open-source notable dans le domaine de la sécurité et de l'alignement de l'IA, aidant les développeurs à créer des applications d'IA générative plus fiables et basées sur les faits. L'implémentation est principalement distribuée via GitHub et est largement utilisée par des chercheurs testant les limites de la véracité et de la précision factuelle des modèles.