LEGENT Embodied AI Plattform

LEGENT är en avancerad öppen källkodsplattform designad för utveckling och träning av inkroppade agenter med hjälp av Stora Språkmodeller (LLMs) och Stora Multimodala Modeller (LMMs). Plattformen har utvecklats genom ett samarbete som främst centrerats kring Tsinghua Universitet och erbjuder en högupplöst 3D-miljö där AI-agenter kan interagera med fysiska objekt, utföra uppgifter och delta i kommunikation på naturligt språk.

Projektet överbryggar klyftan mellan digitala språkmodeller och interaktioner i den fysiska världen. Det har realistisk fysik, en mångsidig renderingsmotor och en systematisk datagenereringsprocess som möjliggör skapande av stora träningsdataset. Genom att tillhandahålla egocentriska visuella observationer och ett användarvänligt Python-gränssnitt, gör det möjligt för forskare att träna modeller som kan generalisera bättre till verkliga robotiska och interaktiva miljöer jämfört med allmänna modeller som GPT-4V.

Som ett akademiskt och öppen källkodsinitiativ tillhör ägandet och den intellektuella egendomen de forskande institutionerna som bidrar. Det är en del av en bredare rörelse mot öppna källkodsverktyg för artificiell intelligens som kommer från Kinas främsta tekniska universitet, och syftar till att främja framsteg i hela gemenskapen inom området Embodied Intelligence.