Imagínese sentado en un banco del parque, viendo a alguien pasar. Si bien la escena puede cambiar constantemente a medida que la persona camina, el cerebro humano puede transformar esa información visual dinámica en una representación más estable con el tiempo. Esta capacidad, conocida como enderezamiento perceptivo, nos ayuda a predecir la trayectoria de la persona que camina.
A diferencia de los humanos, los modelos de visión por computadora no suelen exhibir rectitud perceptiva, por lo que aprenden a representar la información visual de una manera altamente impredecible. Pero si los modelos de aprendizaje automático tuvieran esta capacidad, podría permitirles estimar mejor cómo se moverán los objetos o las personas.
Investigadores del MIT han descubierto que un método de entrenamiento específico puede ayudar a los modelos de visión por computadora a aprender representaciones más rectas desde el punto de vista de la percepción, como lo hacen los humanos. El entrenamiento implica mostrarle a un modelo de aprendizaje automático millones de ejemplos para que pueda aprender una tarea.
Los investigadores encontraron que el entrenamiento de modelos de visión por computadora usando una técnica llamada entrenamiento contradictorio, que los hace menos reactivos a los pequeños errores agregados a las imágenes, mejora la rectitud perceptual de los modelos.
El equipo también descubrió que la rectitud perceptiva se ve afectada por la tarea que uno entrena para que realice un modelo. Los modelos entrenados para realizar tareas abstractas, como clasificar imágenes, aprenden representaciones perceptualmente más directas que aquellos entrenados para realizar tareas más detalladas, como asignar cada píxel de una imagen a una categoría.
Por ejemplo, los nodos dentro del modelo tienen activaciones internas que representan «perro», lo que permite que el modelo detecte un perro cuando ve cualquier imagen de un perro. Las representaciones perceptivamente rectas retienen una representación de «perro» más estable cuando hay pequeños cambios en la imagen. Esto los hace más robustos.
Al obtener una mejor comprensión de la rectitud perceptiva en la visión por computadora, los investigadores esperan descubrir ideas que podrían ayudarlos a desarrollar modelos que hagan predicciones más precisas. Por ejemplo, esta propiedad podría mejorar la seguridad de los vehículos autónomos que usan modelos de visión artificial para predecir las trayectorias de peatones, ciclistas y otros vehículos.
“Uno de los mensajes para llevar a casa aquí es que inspirarse en los sistemas biológicos, como la visión humana, puede brindarle una idea de por qué ciertas cosas funcionan de la manera en que lo hacen y también inspirar ideas para mejorar las redes neuronales”, dice Vasha DuTell. , un postdoctorado del MIT y coautor de un artículo que explora la rectitud perceptual en la visión artificial.
Junto a DuTell en el artículo están la autora principal Anne Harrington, estudiante de posgrado en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS); Ayush Tewari, un postdoctorado; Mark Hamilton, estudiante de posgrado; Simon Stent, director de investigación de Woven Planet; Ruth Rosenholtz, científica investigadora principal del Departamento de Ciencias Cognitivas y del Cerebro y miembro del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL); y el autor principal William T. Freeman, profesor de Ingeniería Eléctrica y Ciencias de la Computación Thomas and Gerd Perkins y miembro de CSAIL. La investigación se presenta en la Conferencia Internacional sobre Representaciones de Aprendizaje.
Estudiando alisado
Después de leer un artículo de 2019 de un equipo de investigadores de la Universidad de Nueva York sobre la rectitud perceptual en humanos, DuTell, Harrington y sus colegas se preguntaron si esa propiedad también podría ser útil en los modelos de visión por computadora.
Se propusieron determinar si los diferentes tipos de modelos de visión por computadora enderezan las representaciones visuales que aprenden. Alimentaron a cada modelo con fotogramas de un video y luego examinaron la representación en diferentes etapas de su proceso de aprendizaje.
Si la representación del modelo cambia de manera predecible a lo largo de los cuadros del video, ese modelo se está enderezando. Al final, su representación de salida debería ser más estable que la representación de entrada.
“Puedes pensar en la representación como una línea, que comienza con una gran curva. Un modelo que se endereza puede tomar esa línea curva del video y enderezarla a través de sus pasos de procesamiento”, explica DuTell.
La mayoría de los modelos que probaron no se enderezaron. De los pocos que lo hicieron, los que se enderezaron con mayor eficacia habían sido entrenados para tareas de clasificación utilizando la técnica conocida como entrenamiento contradictorio.
El entrenamiento adversario implica modificar sutilmente las imágenes cambiando ligeramente cada píxel. Si bien un ser humano no notaría la diferencia, estos cambios menores pueden engañar a una máquina para que clasifique erróneamente la imagen. El entrenamiento adversario hace que el modelo sea más robusto, por lo que no será engañado por estas manipulaciones.
Debido a que el entrenamiento contradictorio le enseña al modelo a ser menos reactivo a cambios leves en las imágenes, esto lo ayuda a aprender una representación que es más predecible con el tiempo, explica Harrington.
“La gente ya ha tenido la idea de que el entrenamiento con adversarios podría ayudarlo a lograr que su modelo se parezca más a un humano, y fue interesante ver que eso se traslada a otra propiedad que la gente no había probado antes”, dice ella.
Pero los investigadores encontraron que los modelos entrenados adversariamente solo aprenden a enderezar cuando están entrenados para tareas amplias, como clasificar imágenes completas en categorías. Los modelos encargados de la segmentación (etiquetar cada píxel de una imagen como una clase determinada) no se enderezaron, incluso cuando fueron entrenados para el enfrentamiento.
Clasificación consistente
Los investigadores probaron estos modelos de clasificación de imágenes mostrándoles videos. Descubrieron que los modelos que aprendieron representaciones perceptualmente más directas tendieron a clasificar correctamente los objetos en los videos de manera más consistente.
“Para mí, es sorprendente que estos modelos entrenados adversariamente, que ni siquiera han visto un video y nunca han sido entrenados con datos temporales, todavía muestran cierto grado de enderezamiento”, dice DuTell.
Los investigadores no saben exactamente qué pasa con el proceso de entrenamiento contradictorio que permite que un modelo de visión por computadora se enderece, pero sus resultados sugieren que los esquemas de entrenamiento más fuertes hacen que los modelos se enderezen más, explica.
A partir de este trabajo, los investigadores quieren usar lo que aprendieron para crear nuevos esquemas de entrenamiento que explícitamente le darían a un modelo esta propiedad. También quieren profundizar en el entrenamiento contradictorio para comprender por qué este proceso ayuda a enderezar un modelo.
“Desde un punto de vista biológico, el entrenamiento adversario no necesariamente tiene sentido. No es así como los humanos entienden el mundo. Todavía hay muchas preguntas sobre por qué este proceso de entrenamiento parece ayudar a los modelos a actuar más como humanos”, dice Harrington.
“Comprender las representaciones aprendidas por las redes neuronales profundas es fundamental para mejorar propiedades como la solidez y la generalización”, dice Bill Lotter, profesor asistente en el Instituto del Cáncer Dana-Farber y la Escuela de Medicina de Harvard, que no participó en esta investigación. “Harrington et al. realice una evaluación exhaustiva de cómo las representaciones de los modelos de visión por computadora cambian con el tiempo al procesar videos naturales, mostrando que la curvatura de estas trayectorias varía ampliamente según la arquitectura del modelo, las propiedades de entrenamiento y la tarea. Estos hallazgos pueden informar el desarrollo de modelos mejorados y también ofrecer información sobre el procesamiento visual biológico”.
“El documento confirma que enderezar videos naturales es una propiedad bastante única que muestra el sistema visual humano. Solo las redes entrenadas adversariamente lo muestran, lo que proporciona una conexión interesante con otra firma de la percepción humana: su robustez frente a diversas transformaciones de imágenes, ya sean naturales o artificiales”, dice Olivier Hénaff, científico investigador de DeepMind, que no participó en esta investigación. “Que incluso los modelos de segmentación de escenas entrenados adversariamente no corrijan sus entradas plantea preguntas importantes para el trabajo futuro: ¿los humanos analizan las escenas naturales de la misma manera que los modelos de visión por computadora? ¿Cómo representar y predecir las trayectorias de los objetos en movimiento sin dejar de ser sensible a su detalle espacial? Al conectar la hipótesis del enderezamiento con otros aspectos del comportamiento visual, el artículo sienta las bases para teorías de percepción más unificadas”.
La investigación está financiada, en parte, por el Instituto de Investigación de Toyota, la beca MIT CSAIL METEOR, la Fundación Nacional de Ciencias, el Laboratorio de Investigación de la Fuerza Aérea de EE. UU. y el Acelerador de Inteligencia Artificial de la Fuerza Aérea de EE. UU.
