LEGENT Embodied AI Platform

LEGENT er en avanceret open-source platform designet til udvikling og træning af indlejrede agenter ved hjælp af store sprogmodeller (LLMs) og store multimodale modeller (LMMs). Platformen er udviklet gennem et samarbejde primært centreret omkring Tsinghua Universitet og tilbyder et højtydende 3D-miljø, hvor AI-agenter kan interagere med fysiske objekter, udføre opgaver og deltage i kommunikation på naturligt sprog.

Projektet brokker kløften mellem digitale sprogmodeller og interaktioner med den fysiske verden. Det har realistisk fysik, en mangfoldig rendering engine og en systematisk datagenereringspipeline, der muliggør oprettelsen af store træningsdatasæt. Ved at tilbyde egocentriske visuelle observationer og et brugervenligt Python-interface gør det det muligt for forskere at træne modeller, der kan generalisere bedre til virkelige robotiske og interaktive indstillinger sammenlignet med generelle modeller som GPT-4V.

Som et akademisk og open-source initiativ ligger ejerskabet og den intellektuelle ejendom hos de bidragende forskningsinstitutioner. Det er en del af en bredere bevægelse mod open-source kunstig intelligensværktøjer, der kommer fra Kinas førende teknologiske universiteter, der sigter mod at fremme fællesskabsomfattende fremskridt inden for området Embodied Intelligence.