LEGENT Plataforma de IA Incorporada

LEGENT é uma plataforma avançada de código aberto projetada para o desenvolvimento e treinamento de agentes incorporados utilizando Modelos de Linguagem Grande (LLMs) e Modelos Multimodais Grandes (LMMs). Desenvolvida principalmente através de uma colaboração no campus da Universidade Tsinghua, a plataforma oferece um ambiente 3D de alta fidelidade para agentes de IA interagirem com objetos físicos, realizarem tarefas e se envolverem em comunicação em linguagem natural.

O projeto fecha a lacuna entre modelos de linguagem digitais e interações com o mundo físico. Possui física realista, um motor de renderização diversificado e um pipeline sistemático de geração de dados que permite a criação de conjuntos de dados de treinamento em larga escala. Ao fornecer observações visuais egocêntricas e uma interface Python amigável, permite que pesquisadores treinem modelos que podem generalizar melhor para cenários robóticos e interativos do mundo real em comparação com modelos de uso geral como o GPT-4V.

Como uma iniciativa acadêmica e de código aberto, a propriedade e a propriedade intelectual residem nas instituições de pesquisa contribuintes. Faz parte de um movimento mais amplo em direção a ferramentas de inteligência artificial de código aberto que emergem das principais universidades tecnológicas da China, visando promover o progresso da comunidade no campo da Inteligência Incorporada.