LEGENT Piattaforma AI Incarnata

LEGENT è una piattaforma avanzata open-source progettata per lo sviluppo e l'addestramento di agenti incorporei utilizzando Modelli Linguistici di Grande Dimensione (LLM) e Modelli Multimodali di Grande Dimensione (LMM). Sviluppata attraverso una collaborazione principalmente incentrata presso l'Università Tsinghua, la piattaforma offre un ambiente 3D ad alta fedeltà in cui gli agenti AI possono interagire con oggetti fisici, eseguire compiti e impegnarsi in comunicazioni in linguaggio naturale.

Il progetto colma il divario tra modelli linguistici digitali e interazioni con il mondo fisico. Caratterizzato da una fisica realistica, un motore di rendering diversificato e una pipeline sistematica per la generazione di dati, consente la creazione di set di dati di addestramento su larga scala. Fornendo osservazioni visive egocentriche e un'interfaccia Python facile da usare, consente ai ricercatori di addestrare modelli che possono generalizzare meglio a contesti robotici e interattivi nel mondo reale rispetto a modelli di uso generale come GPT-4V.

Come iniziativa accademica e open-source, la proprietà e la proprietà intellettuale risiedono nelle istituzioni di ricerca che contribuiscono. Fa parte di un movimento più ampio verso strumenti di intelligenza artificiale open-source provenienti dalle principali università tecnologiche della Cina, volto a promuovere il progresso della comunità nel campo dell'intelligenza incarnata.