Plateforme AI Embodied LEGENT

LEGENT est une plateforme avancée open-source conçue pour le développement et l'entraînement d'agents incarnés utilisant des Modèles de Langage de Grande Taille (LLMs) et des Modèles Multimodaux de Grande Taille (LMMs). Développée à travers une collaboration principalement centrée à l'Université Tsinghua, la plateforme offre un environnement 3D haute fidélité permettant aux agents AI d'interagir avec des objets physiques, d'effectuer des tâches et de communiquer en langage naturel.

Le projet comble le fossé entre les modèles de langage numériques et les interactions dans le monde physique. Il présente une physique réaliste, un moteur de rendu diversifié, et un pipeline systématique de génération de données qui permet de créer des ensembles de données d'entraînement à grande échelle. En fournissant des observations visuelles égocentriques et une interface Python conviviale, il permet aux chercheurs de former des modèles capables de mieux se généraliser aux environnements robotiques et interactifs du monde réel par rapport à des modèles polyvalents comme GPT-4V.

En tant qu'initiative académique et open-source, la propriété et la propriété intellectuelle appartiennent aux institutions de recherche contributrices. Elle fait partie d'un mouvement plus large vers des outils d'intelligence artificielle open-source émanant des meilleures universités technologiques de Chine, visant à favoriser le progrès communautaire dans le domaine de l'Intelligence Embodied.