En una oficina en el Laboratorio de Informática e Inteligencia Artificial del MIT (CSAIL), una mano robótica suave enrolla cuidadosamente sus dedos para comprender un objeto pequeño. La parte intrigante no es el diseño mecánico o los sensores incrustados; de hecho, la mano no contiene ninguno. En cambio, todo el sistema se basa en una sola cámara que observa los movimientos del robot y usa esos datos visuales para controlarlo.
Esta capacidad proviene de un nuevo sistema que se desarrollaron los científicos de CSAIL, ofreciendo una perspectiva diferente sobre el control robótico. En lugar de usar modelos diseñados a mano o matrices de sensores complejos, permite a los robots aprender cómo sus cuerpos responden a los comandos de control, únicamente a través de la visión. El enfoque, llamado campos jacobianos neurales (NJF), le da a los robots un tipo de autoconciencia corporal. Se publicó un artículo de acceso abierto sobre el trabajo en Naturaleza el 25 de junio.
«Este trabajo apunta a un cambio de robots de programación a robots de enseñanza», dice Sizhe Lester Li, estudiante de doctorado del MIT en Ingeniería Eléctrica e Informática, Afiliado de CSAIL e investigador principal sobre el trabajo. «Hoy, muchas tareas de robótica requieren una ingeniería y codificación extensas. En el futuro, imaginamos mostrar un robot qué hacer y dejar que aprenda a lograr el objetivo de forma autónoma».
La motivación proviene de un replanteamiento simple pero poderoso: la barrera principal para la robótica flexible y asequible no es hardware: su control de la capacidad, que podría lograrse de múltiples maneras. Los robots tradicionales están construidos para ser rígidos y ricos en sensores, lo que facilita la construcción de un gemelo digital, una réplica matemática precisa utilizada para el control. Pero cuando un robot es suave, deformable o de forma irregular, esos supuestos se desmoronan. En lugar de obligar a los robots a coincidir con nuestros modelos, NJF voltea el script, dando a los robots la capacidad de aprender su propio modelo interno de la observación.
Mira y aprende
Este desacoplamiento del modelado y el diseño de hardware podría expandir significativamente el espacio de diseño para la robótica. En robots suaves y bio inspirados, los diseñadores a menudo incrustan sensores o refuerzan partes de la estructura solo para que el modelado sea factible. NJF eleva esa restricción. El sistema no necesita sensores a bordo o ajustes de diseño para hacer posible el control. Los diseñadores son más libres de explorar morfologías no convencionales y sin restricciones sin preocuparse por si podrán modelarlas o controlarlas más tarde.
«Piensa en cómo aprendes a controlar tus dedos: te mueves, observas, te adaptas», dice Li. «Eso es lo que hace nuestro sistema. Experimenta con acciones aleatorias y descubre qué controles se mueven qué partes del robot».
El sistema ha demostrado ser robusto en una variedad de tipos de robots. El equipo probó NJF en una mano robótica suave neumática capaz de pellizcar y agarrar, una mano allegro rígida, un brazo robótico impreso en 3D e incluso una plataforma giratoria sin sensores incrustados. En todos los casos, el sistema aprendió tanto la forma del robot como cómo respondió a las señales de control, solo de la visión y el movimiento aleatorio.
Los investigadores ven el potencial mucho más allá del laboratorio. Los robots equipados con NJF podrían algún día realizar tareas agrícolas con precisión de localización a nivel de centímetro, operar en sitios de construcción sin matrices de sensores elaborados o navegar en entornos dinámicos donde los métodos tradicionales se rompen.
En el núcleo de NJF hay una red neuronal que captura dos aspectos entrelazados de la realización de un robot: su geometría tridimensional y su sensibilidad para controlar las entradas. El sistema se basa en los campos de radiación neural (NERF), una técnica que reconstruye escenas 3D de imágenes mediante el mapeo de coordenadas espaciales a los valores de color y densidad. NJF extiende este enfoque aprendiendo no solo la forma del robot, sino también un campo jacobiano, una función que predice cómo cualquier punto en el cuerpo del robot se mueve en respuesta a los comandos del motor.
Para entrenar el modelo, el robot realiza movimientos aleatorios, mientras que varias cámaras registran los resultados. No se requiere supervisión humana o conocimiento previo de la estructura del robot: el sistema simplemente infiere la relación entre las señales de control y el movimiento al observar.
Una vez que se completa el entrenamiento, el robot solo necesita una sola cámara monocular para el control de circuito cerrado en tiempo real, que se ejecuta a aproximadamente 12 Hertz. Esto le permite observarse continuamente a sí mismo, planificar y actuar de manera receptiva. Esa velocidad hace que NJF sea más viable que muchos simuladores basados en la física para robots blandos, que a menudo son demasiado intensivos computacionalmente para el uso en tiempo real.
En simulaciones tempranas, incluso los dedos y controles deslizantes 2D simples pudieron aprender esta mapeo usando solo unos pocos ejemplos. Al modelar cómo los puntos específicos se deforman o cambian en la respuesta a la acción, NJF construye un mapa denso de controlabilidad. Ese modelo interno le permite generalizar el movimiento en todo el cuerpo del robot, incluso cuando los datos son ruidosos o incompletos.
«Lo que es realmente interesante es que el sistema se resuelve por sí solo qué motores controlan qué partes del robot», dice Li. «Esto no está programado: emerge naturalmente a través del aprendizaje, al igual que una persona que descubre los botones en un nuevo dispositivo».
El futuro es suave
Durante décadas, Robotics ha favorecido las máquinas rígidas y fácilmente modeladas, como los brazos industriales que se encuentran en las fábricas, porque sus propiedades simplifican el control. Pero el campo se ha movido hacia robots suaves y bioinspirados que pueden adaptarse al mundo real de manera más fluida. La compensación? Estos robots son más difíciles de modelar.
«La robótica hoy en día a menudo se siente fuera del alcance debido a sensores costosos y una programación compleja. Nuestro objetivo con los campos neurales jacobianos es reducir la barrera, haciendo que la robótica sea asequible, adaptable y accesible para más personas. Visión es un sensor resistente y confiable», dice el autor senior y profesor asistente del MIT Vincent Sitzmann, quien lidera el grupo de representación de la escena. «Abre la puerta a robots que pueden operar en entornos desordenados y no estructurados, desde granjas hasta sitios de construcción, sin infraestructura costosa».
«La visión por sí sola puede proporcionar las señales necesarias para la localización y el control, eliminando la necesidad de GPS, sistemas de seguimiento externos o sensores a bordo complejos. Esto abre la puerta a un comportamiento robusto y adaptativo en entornos no estructurados, desde drones que navegan en el interior o bajo tierra sin mapas hasta manipuladores móvil RUS, profesor del MIT de Ingeniería Eléctrica e Ciencias de la Computación y Director de CSAIL. «Al aprender de la retroalimentación visual, estos sistemas desarrollan modelos internos de su propio movimiento y dinámica, lo que permite una operación flexible y auto-supervisada donde fallarían los métodos de localización tradicionales».
Si bien la capacitación de NJF actualmente requiere múltiples cámaras y debe rehacerse para cada robot, los investigadores ya están imaginando una versión más accesible. En el futuro, los aficionados podrían grabar los movimientos aleatorios de un robot con su teléfono, al igual que tomaría un video de un automóvil de alquiler antes de conducir, y usar ese metraje para crear un modelo de control, sin conocimiento previo o equipos especiales.
El sistema aún no se generaliza en diferentes robots, y carece de fuerza o detección táctil, lo que limita su efectividad en las tareas ricas en contacto. Pero el equipo está explorando nuevas formas de abordar estas limitaciones: mejorar la generalización, el manejo de oclusiones y extender la capacidad del modelo para razonar sobre horizontes espaciales y temporales más largos.
«Así como los humanos desarrollan una comprensión intuitiva de cómo sus cuerpos se mueven y responden a los comandos, NJF le da a los robots ese tipo de autoconciencia encarnada solo a través de la visión», dice Li. «Esta comprensión es una base para la manipulación y control flexibles en entornos del mundo real. Nuestro trabajo, esencialmente, refleja una tendencia más amplia en robótica: alejarse de la programación manual de modelos detallados para enseñar robots a través de la observación y la interacción».
Este documento reunió la visión por computadora y el trabajo de aprendizaje auto-supervisado del laboratorio Sitzmann y la experiencia en robots blandos del laboratorio RUS. Li, Sitzmann y Rus coautorizan el documento con los afiliados de CSAIL Annan Zhang SM ’22, un estudiante de doctorado en Ingeniería Eléctrica e Informática (EECS); Boyuan Chen, un estudiante de doctorado en EECS; Hanna Matusik, investigadora de pregrado en ingeniería mecánica; y Chao Liu, un postdocs en el Sensible City Lab en el MIT.
La investigación fue apoyada por el Fondo de Investigación de Salomón Buchsbaum a través del Comité de Apoyo de Investigación del MIT, una beca presidencial del MIT, la Fundación Nacional de Ciencias y el Instituto de Ciencia y Tecnología Gwangju.
