La plate-forme de jeu en ligne et le système de développement de jeux Roblox ont annoncé la sortie et la disponibilité open source de Cube 3D, un modèle d’IA conçu pour générer des objets et des environnements 3D à partir d’invites de texte.
Cube 3D servira de base à de nombreux outils d’IA que Roblox prévoit de développer à l’avenir, notamment des outils avancés de génération de scènes. Au fil du temps, il évoluera vers un modèle multimodal, incorporant du texte, des images, des vidéos et d’autres formes d’entrée, et s’intégrera aux outils de création d’IA existants de Roblox. Le modèle IA est capable de générer des modèles et des environnements 3D directement à partir de descriptions textuelles et, à l’avenir, également à partir d’images.
Afin de créer un monde 3D véritablement immersif, il est essentiel de concevoir des structures entièrement fonctionnelles, telles que des garages dans lesquels entrer, des tribunes dans lesquelles s’asseoir et des podiums pour les couloirs de la victoire. Pour y parvenir, Roblox s’est inspiré de modèles avancés entraînés sur des jetons de texte pour prédire le prochain jeton et former une phrase. L’innovation repose sur ce même principe. Roblox a développé la capacité de tokeniser des objets 3D et de reconnaître les formes en tant que jetons, entraînant Cube 3D à prédire le prochain jeton de forme afin de construire des objets 3D complets. Lorsqu’il est étendu à la génération de scènes complètes, Cube 3D prédit la disposition et prédit de manière récursive les formes pour compléter cette disposition. Les utilisateurs peuvent affiner, développer des plugins ou entraîner Cube 3D en utilisant leurs propres données pour répondre à leurs besoins spécifiques.
Roblox innove dans la création d’objets avec la tokenisation 3D
Le principal défi technique consistait à lier le texte et les images avec des formes 3D. L’innovation clé est la tokenisation 3D, qui permet à la plateforme de représenter des objets 3D sous forme de jetons, de la même manière que le texte est représenté sous forme de jetons. Cela permet à Roblox de prédire la forme suivante de la même manière que les modèles linguistiques prédisent le mot suivant dans une phrase.
Afin de réaliser la génération 3D, Roblox a développé une architecture unifiée pour la génération autorégressive, qui comprend la génération d’objets uniques, la réalisation de formes et la conception de dispositions multi-objets ou de scènes. Les transformateurs autorégressifs sont des réseaux de neurones qui utilisent les entrées précédentes pour prédire le composant suivant. Cette architecture prend en charge à la fois l’évolutivité et la compatibilité multimodale, permettant au modèle de gérer différents types d’entrée (texte, visuels, audio et 3D). Roblox rend ce modèle open source et, dans cette phase initiale, les créateurs pourront générer des objets 3D à partir d’invites de texte. À l’avenir, il vise aux créateurs de générer des scènes entières en utilisant plusieurs types d’entrée.
Pour entraîner le transformateur génératif pré-entraîné (GPT) à la création de formes, Roblox utilise des jetons de forme 3D discrets, en les alignant avec des invites textuelles. Cette nouvelle approche nous positionne pour créer des scènes 3D entièrement jouables à l’avenir.
Roblox est une plateforme de jeu en ligne et un système de création de jeux qui permet aux utilisateurs de concevoir, développer et jouer à des jeux créés par d’autres utilisateurs. Il fournit un vaste environnement virtuel dans lequel les individus peuvent créer et partager des expériences 3D interactives, allant des jeux simples aux mondes virtuels complexes.
