LEGENT Embodied AI Platform

LEGENT ist eine fortschrittliche Open-Source-Plattform, die für die Entwicklung und das Training verkörperter Agenten mit Hilfe von großen Sprachmodellen (LLMs) und großen multimodalen Modellen (LMMs) konzipiert wurde. Die Plattform wurde vorwiegend an der Tsinghua-Universität entwickelt und bietet eine hochrealistische 3D-Umgebung, in der KI-Agenten mit physischen Objekten interagieren, Aufgaben erfüllen und in natürlicher Sprache kommunizieren können.

Das Projekt überbrückt die Kluft zwischen digitalen Sprachmodellen und Interaktionen in der physischen Welt. Es verfügt über realistische Physik, eine vielfältige Rendering-Engine und eine systematische Datenpipeline zur Generierung, die die Erstellung großflächiger Trainingsdatensätze ermöglicht. Durch die Bereitstellung egocentrischer visueller Beobachtungen und einer benutzerfreundlichen Python-Schnittstelle können Forscher Modelle trainieren, die sich im Vergleich zu allgemeinen Modellen wie GPT-4V besser auf reale Roboter- und Interaktionsszenarien generalisieren lassen.

Als akademische und Open-Source-Initiative liegen das Eigentum und das geistige Eigentum bei den beitragenden Forschungsinstitutionen. Es ist Teil einer breiteren Bewegung hin zu Open-Source-Tools für künstliche Intelligenz, die aus Chinas führenden technischen Universitäten hervorgeht, mit dem Ziel, den gemeinnützigen Fortschritt im Bereich verkörperter Intelligenz zu fördern.