LEGENT Embodied AI Platform

LEGENT er en avansert åpen kildekodeplattform designet for utvikling og trening av inkarnerte agenter ved hjelp av store språklige modeller (LLMer) og store multimodale modeller (LMMer). Plattformen er utviklet gjennom et samarbeid som primært ligger ved Tsinghua University, og gir et høyoppløselig 3D-miljø for AI-agenter å interagere med fysiske objekter, utføre oppgaver og engasjere seg i naturlig språkkommunikasjon.

Prosjektet bygger bro mellom digitale språklige modeller og interaksjoner med den fysiske verden. Det har realistisk fysikk, en variert rendering-motor, og en systematisk datagenereringspipeline som gjør det mulig å lage storstilte treningsdatasett. Ved å tilby egosentriske visuelle observasjoner og et brukervennlig Python-grensesnitt, gjør det det mulig for forskere å trene modeller som kan generalisere bedre til virkelige robotiske og interaktive innstillinger sammenlignet med generelle modeller som GPT-4V.

Som et akademisk og åpen kildekode-initativ ligger eierskap og immaterielle rettigheter hos de bidragsytende forskningsinstitusjonene. Det er en del av en bredere bevegelse mot åpne kildeteknologier innen kunstig intelligens som kommer fra Kinas ledende teknologiske universiteter, og har som mål å fremme fremgang på tvers av fellesskapet innen Embodied Intelligence.