Si gira una imagen de una estructura molecular, un humano puede decir que la imagen rotada sigue siendo la misma molécula, pero un modelo de aprendizaje automático podría pensar que es un nuevo punto de datos. En el lenguaje de la informática, la molécula es «simétrica», lo que significa que la estructura fundamental de esa molécula sigue siendo la misma si sufre ciertas transformaciones, como la rotación.
Si un modelo de descubrimiento de fármacos no entiende la simetría, podría hacer predicciones inexactas sobre las propiedades moleculares. Pero a pesar de algunos éxitos empíricos, no ha estado claro si existe un método computacionalmente eficiente para entrenar un buen modelo que se garantiza respetar la simetría.
Un nuevo estudio realizado por los investigadores del MIT responde a esta pregunta y muestra el primer método para el aprendizaje automático con simetría que es probablemente eficiente en términos de la cantidad de cálculo y datos necesarios.
Estos resultados aclaran una pregunta fundamental, y podrían ayudar a los investigadores en el desarrollo de modelos más potentes de aprendizaje automático que están diseñados para manejar la simetría. Dichos modelos serían útiles en una variedad de aplicaciones, desde el descubrimiento de nuevos materiales hasta la identificación de anomalías astronómicas hasta desentrañar patrones climáticos complejos.
«Estas simetrías son importantes porque son algún tipo de información que la naturaleza nos dice sobre los datos, y debemos tenerlo en cuenta en nuestros modelos de aprendizaje automático. Ahora hemos demostrado que es posible hacer el aprendizaje automático con datos simétricos de una manera eficiente», dice Behrooz TahmaseBi, un estudiante graduado de MIT y co-líder de este estudio.
Se le une en el periódico autor y estudiante graduado del MIT Ashkan Soleymani; Stefanie Jegelka, profesora asociada de ingeniería eléctrica e informática (EEC) y miembro del Instituto de Datos, Sistemas y Sociedad (IDSS) y el Laboratorio de Informática e Inteligencia Artificial (CSAIL); y el autor senior Patrick Jaillet, profesor de Dugald C. Jackson de Ingeniería Eléctrica e Informática e investigador principal en el Laboratorio de Información y Sistemas de Decisión (TAP). La investigación se presentó recientemente en la Conferencia Internacional sobre Aprendizaje Autor.
Estudiar simetría
Los datos simétricos aparecen en muchos dominios, especialmente las ciencias naturales y la física. Un modelo que reconoce simetrías puede identificar un objeto, como un automóvil, sin importar dónde se coloque ese objeto en una imagen, por ejemplo.
A menos que un modelo de aprendizaje automático esté diseñado para manejar la simetría, podría ser menos preciso y propenso al fracaso cuando se enfrenta a nuevos datos simétricos en situaciones del mundo real. Por otro lado, los modelos que aprovechan la simetría podrían ser más rápidos y requieren menos datos para el entrenamiento.
Pero capacitar a un modelo para procesar datos simétricos no es una tarea fácil.
Un enfoque común se llama aumento de datos, donde los investigadores transforman cada punto de datos simétricos en múltiples puntos de datos para ayudar al modelo a generalizarse mejor a los datos nuevos. Por ejemplo, uno podría rotar una estructura molecular muchas veces para producir nuevos datos de entrenamiento, pero si los investigadores quieren que el modelo sea garantizado para respetar la simetría, esto puede ser computacionalmente prohibitivo.
Un enfoque alternativo es codificar la simetría en la arquitectura del modelo. Un ejemplo bien conocido de esto es una red neuronal gráfica (GNN), que maneja inherentemente datos simétricos debido a cómo está diseñado.
«Las redes neuronales gráficas son rápidas y eficientes, y se ocupan bastante bien de la simetría, pero nadie sabe realmente qué están aprendiendo estos modelos o por qué funcionan. Comprender los GNN es una motivación principal de nuestro trabajo, por lo que comenzamos con una evaluación teórica de lo que sucede cuando los datos son simétricos», dice TahmaseBi.
Exploraron la compensación estadística computacional en el aprendizaje automático con datos simétricos. Esta compensación significa que los métodos que requieren menos datos pueden ser más costosos computacionalmente, por lo que los investigadores necesitan encontrar el equilibrio correcto.
Sobre la base de esta evaluación teórica, los investigadores diseñaron un algoritmo eficiente para el aprendizaje automático con datos simétricos.
Combinaciones matemáticas
Para hacer esto, tomaron prestadas ideas del álgebra para encogerse y simplificar el problema. Luego, reformularon el problema utilizando ideas de la geometría que capturan efectivamente la simetría.
Finalmente, combinaron el álgebra y la geometría en un problema de optimización que se puede resolver de manera eficiente, lo que resulta en su nuevo algoritmo.
«La mayoría de la teoría y las aplicaciones se centraron en el álgebra o la geometría. Aquí las combinamos», dice TahmaseBi.
El algoritmo requiere menos muestras de datos para el entrenamiento que los enfoques clásicos, lo que mejoraría la precisión y la capacidad de un modelo para adaptarse a nuevas aplicaciones.
Al demostrar que los científicos pueden desarrollar algoritmos eficientes para el aprendizaje automático con simetría, y demostrar cómo se puede hacer, estos resultados podrían conducir al desarrollo de nuevas arquitecturas de redes neuronales que podrían ser más precisas y menos intensivas en recursos que los modelos actuales.
Los científicos también podrían usar este análisis como punto de partida para examinar el funcionamiento interno de los GNN, y cómo sus operaciones difieren del algoritmo que desarrollaron los investigadores del MIT.
«Una vez que sabemos que mejor, podemos diseñar arquitecturas de redes neuronales más interpretables, más robustas y más eficientes», agrega Soleymani.
Esta investigación está financiada, en parte, por la National Research Foundation of Singapur, DSO National Laboratories of Singapur, la Oficina de Investigación Naval de los Estados Unidos, la Fundación Nacional de Ciencias de los Estados Unidos y una profesión Alexander Von Humboldt.
