LEGENT Plataforma de IA Embodied

LEGENT es una plataforma avanzada de código abierto diseñada para el desarrollo y entrenamiento de agentes incorporados (embodied) utilizando Modelos de Lenguaje Grandes (LLM) y Modelos Multimodales Grandes (LMM). Desarrollado a través de una colaboración centrada principalmente en la Universidad de Tsinghua, la plataforma proporciona un entorno 3D de alta fidelidad para que los agentes de IA interactúen con objetos físicos, realicen tareas y se comuniquen en lenguaje natural.

El proyecto cierra la brecha entre los modelos de lenguaje digitales y las interacciones del mundo físico. Cuenta con física realista, un motor de renderizado diverso y una canalización de generación de datos sistemática que permite la creación de conjuntos de datos de entrenamiento a gran escala. Al proporcionar observaciones visuales egocéntricas y una interfaz de Python fácil de usar, permite a los investigadores entrenar modelos que pueden generalizarse mejor a entornos robóticos e interactivos del mundo real en comparación con modelos de propósito general como GPT-4V.

Como iniciativa académica y de código abierto, la propiedad y la propiedad intelectual residen en las instituciones de investigación contribuyentes. Forma parte de un movimiento más amplio hacia herramientas de inteligencia artificial de código abierto provenientes de las principales universidades tecnológicas de China, con el objetivo de fomentar el progreso de la comunidad en el campo de la Inteligencia Incorporada.