Una nueva herramienta de inteligencia artificial creada por investigadores de la Escuela de Ciencias de la Computación de la Universidad Carnegie Mellon podría cambiar la forma en que fabricamos y construimos cosas.
BrickGPT utiliza indicaciones de texto para ayudar a las personas (e incluso a los robots) a convertir ideas en realidad usando ladrillos LEGO. Con una simple palabra, como "guitarra", puede crear una guía paso a paso, ladrillo por ladrillo, para que un humano o un robot construya un modelo físico estable de ese objeto. Aunque la herramienta se centra actualmente en construcciones con LEGO, su aplicación va mucho más allá del juego al transformar indicaciones de texto en objetos físicamente estables.
Jun-Yan Zhu, profesor asistente de Ciencias de la Computación y Robótica en el Instituto de Robótica (RI) de la Universidad Carnegie Mellon, dijo: «Esta investigación allana el camino para la fabricación generativa, donde las personas pueden usar modelos generativos para diseñar objetos cotidianos que ellos mismos pueden fabricar».
«Pueden construir una silla, un sofá o un juguete para niños. Es un nuevo campo de aplicación para estos modelos, más allá de crear videos o fotos para redes sociales. Estos bloques de juguete son un medio simple y un punto de partida».
Los investigadores afirman que la fusión de la inteligencia artificial y la robótica puede acelerar el proceso de diseño y construcción de cosas nuevas.
«Esto podría traer enormes beneficios para la industria manufacturera», dijo Changliu Liu, profesora asociada del RI. «Convertir una idea en un diseño físico y un prototipo lleva mucho tiempo. Pero si se puede integrar la IA generativa en este proceso, se puede mejorar significativamente la eficiencia y reducir las barreras para iniciar proyectos».
Actualmente, la versión de demostración de BrickGPT puede proporcionar una guía paso a paso para que humanos o robots construyan 21 modelos con ladrillos LEGO, incluyendo una pajarera, un sofá y un piano. Si alguien quiere hacer un sofá, solo tiene que escribir "sofá" en BrickGPT para generar un modelo 3D. Luego, un algoritmo convierte el modelo 3D en una estructura de ladrillos, y BrickGPT verifica para asegurar la estabilidad estructural. Un humano o un brazo robótico puede seguir los pasos para construir el sofá.
Para entrenar a BrickGPT, los investigadores generaron el conjunto de datos StableText2Brick, que contiene más de 47.000 estructuras de ladrillos derivadas de más de 28.000 objetos 3D únicos, acompañadas de instrucciones detalladas. Los investigadores utilizaron el conjunto de datos existente de formas 3D ShapeNetCore, convirtiendo estas formas en mallas compuestas por pequeños cubos, un proceso denominado voxelización en el estudio. Luego, entrenaron un modelo de lenguaje grande (LLM) autorregresivo que puede predecir valores futuros basándose en valores previos.
Por ejemplo, en BrickGPT, el LLM predice el siguiente ladrillo basándose en el anterior, asegurando que la estructura sea estable y no se derrumbe. Si ocurre un error durante el proceso, BrickGPT retrocede y elimina los puntos inestables para garantizar la estabilidad estructural.
Además de Liu y Zhu, el equipo de investigación de SCS incluye a la estudiante de doctorado en Ciencias de la Computación, Ava Pun, los estudiantes de doctorado del instituto Kangle Deng y Ruixuan Liu, y el profesor del instituto Deva Ramanan.
«Si la estructura es inestable, hay un proceso de reversión», dijo Pun. «En este paso, el modelo identifica qué ladrillos son incorrectos o inestables, y luego retrocedemos a un punto anterior. Utilizamos un algoritmo de razonamiento físico que detecta la inestabilidad y genera una puntuación de estabilidad para cada ladrillo en la estructura. Si la puntuación es lo suficientemente alta, significa que el ladrillo es estable».
Los investigadores esperan escalar el modelo para que pueda generar más de los 21 objetos actuales. También desean ampliar la diversidad de los elementos de la biblioteca para mejorar la precisión y complejidad de los diseños generados.
