LEGENT Embodied AI Platform

LEGENT is een geavanceerd open-source platform ontworpen voor de ontwikkeling en training van belichaamde agenten met behulp van Large Language Models (LLMs) en Large Multimodal Models (LMMs). Het platform is ontwikkeld door een samenwerking die voornamelijk gericht is op de Tsinghua Universiteit, en biedt een hoog-fidelity 3D-omgeving waarin AI-agenten kunnen interageren met fysieke objecten, taken kunnen uitvoeren en kunnen communiceren in natuurlijke taal.

Het project overbrugt de kloof tussen digitale taalmodellen en interacties met de fysieke wereld. Het beschikt over realistische fysica, een diverse rendering-engine en een systematische data-generatiepipeline die het mogelijk maakt om grootschalige trainingsdatasets te creëren. Door egocentrische visuele observaties en een gebruiksvriendelijke Python-interface te bieden, stelt het onderzoekers in staat om modellen te trainen die beter kunnen generaliseren naar real-world robotica en interactieve instellingen in vergelijking met algemene modellen zoals GPT-4V.

Als een academisch en open-source initiatief berust het eigendom en het intellectueel eigendom bij de bijdragende onderzoeksinstellingen. Het maakt deel uit van een bredere beweging naar open-source kunstmatige intelligentietools afkomstig uit de beste technologische universiteiten van China, met als doel de vooruitgang in het veld van Embodied Intelligence op gemeenschapsniveau te bevorderen.