Los investigadores del MIT han creado una tabla periódica que muestra cómo se conectan más de 20 algoritmos clásicos de aprendizaje automático. El nuevo marco arroja luz sobre cómo los científicos podrían fusionar estrategias de diferentes métodos para mejorar los modelos de IA existentes o crear otros nuevos.
Por ejemplo, los investigadores utilizaron su marco para combinar elementos de dos algoritmos diferentes para crear un nuevo algoritmo de clasificación de imagen que tuviera un 8 por ciento mejor que los enfoques actuales de última generación.
La tabla periódica proviene de una idea clave: todos estos algoritmos aprenden un tipo específico de relación entre los puntos de datos. Si bien cada algoritmo puede lograr eso de una manera ligeramente diferente, las matemáticas centrales detrás de cada enfoque son las mismas.
Sobre la base de estas ideas, los investigadores identificaron una ecuación unificadora que subyace en muchos algoritmos de IA clásicos. Utilizaron esa ecuación para replantear los métodos populares y organizarlos en una tabla, clasificando cada una en función de las relaciones aproximadas que aprende.
Al igual que la tabla periódica de elementos químicos, que inicialmente contenían cuadrados en blanco que luego llenaron los científicos, la tabla periódica de aprendizaje automático también tiene espacios vacíos. Estos espacios predicen dónde deberían existir algoritmos, pero que aún no se han descubierto.
La tabla ofrece a los investigadores un conjunto de herramientas para diseñar nuevos algoritmos sin la necesidad de redescubrir ideas de enfoques anteriores, dice Shaden Alshammari, un estudiante graduado del MIT y autor principal de un artículo sobre este nuevo marco.
«No es solo una metáfora», agrega Alshammari. «Estamos comenzando a ver el aprendizaje automático como un sistema con una estructura que es un espacio que podemos explorar en lugar de simplemente adivinar nuestro camino».
Se une al documento por John Hershey, investigadora de Google AI Perception; Axel Feldmann, un estudiante graduado del MIT; William Freeman, el profesor de Ingeniería Eléctrica e Informática de Thomas y Gerd Perkins y miembro del Laboratorio de Informática e Inteligencia Artificial (CSAIL); y el autor senior Mark Hamilton, estudiante graduado del MIT y gerente de ingeniería senior en Microsoft. La investigación se presentará en la Conferencia Internacional sobre Representaciones de Aprendizaje.
Una ecuación accidental
Los investigadores no se propusieron crear una tabla periódica de aprendizaje automático.
Después de unirse al laboratorio Freeman, Alshammari comenzó a estudiar Clustering, una técnica de aprendizaje automático que clasifica las imágenes aprendiendo a organizar imágenes similares en grupos cercanos.
Se dio cuenta de que el algoritmo de agrupación que estaba estudiando era similar a otro algoritmo clásico de aprendizaje automático, llamado aprendizaje contrastante, y comenzó a profundizar en las matemáticas. Alshammari descubrió que estos dos algoritmos dispares podrían reformularse utilizando la misma ecuación subyacente.
«Casi llegamos a esta ecuación unificadora por accidente. Una vez que Shaden descubrió que conecta dos métodos, comenzamos a soñar nuevos métodos para traer a este marco. Casi todos los que probamos podrían agregarse», dice Hamilton.
El marco que crearon, el aprendizaje contrastante de información (I-Con) muestra cómo se puede ver una variedad de algoritmos a través de la lente de esta ecuación unificadora. Incluye todo, desde algoritmos de clasificación que pueden detectar el spam hasta los algoritmos de aprendizaje profundo que alimentan los LLM.
La ecuación describe cómo tales algoritmos encuentran conexiones entre los puntos de datos reales y luego se aproximan a esas conexiones internamente.
Cada algoritmo tiene como objetivo minimizar la cantidad de desviación entre las conexiones que aprende a aproximar y las conexiones reales en sus datos de entrenamiento.
Decidieron organizar I-Con en una tabla periódica para clasificar los algoritmos en función de cómo se conectan los puntos en conjuntos de datos reales y las principales formas en que los algoritmos pueden aproximar esas conexiones.
«El trabajo fue gradualmente, pero una vez que habíamos identificado la estructura general de esta ecuación, era más fácil agregar más métodos a nuestro marco», dice Alshammari.
Una herramienta para el descubrimiento
Mientras arreglaron la mesa, los investigadores comenzaron a ver brechas donde podían existir algoritmos, pero que aún no se habían inventado.
Los investigadores completaron un espacio tomando ideas de una técnica de aprendizaje automático llamado aprendizaje contrastante y aplicándolas a la agrupación de imágenes. Esto dio como resultado un nuevo algoritmo que podría clasificar las imágenes no etiquetadas un 8 por ciento mejor que otro enfoque de última generación.
También utilizaron I-CON para mostrar cómo una técnica de debiaización de datos desarrollada para el aprendizaje contrastante podría usarse para aumentar la precisión de los algoritmos de agrupación.
Además, la tabla periódica flexible permite a los investigadores agregar nuevas filas y columnas para representar tipos adicionales de conexiones de punto de datos.
En última instancia, tener I-Con como guía podría ayudar a los científicos del aprendizaje automático a pensar fuera de la caja, alentándolos a combinar ideas de manera que no necesariamente habrían pensado de otra manera, dice Hamilton.
«Hemos demostrado que solo una ecuación muy elegante, arraigada en la ciencia de la información, le brinda algoritmos ricos que abarcan 100 años de investigación en aprendizaje automático. Esto abre muchas vías nuevas para el descubrimiento», agrega.
«Quizás el aspecto más desafiante de ser un investigador de aprendizaje automático en estos días es el número aparentemente ilimitado de documentos que aparecen cada año. En este contexto, los documentos que unifican y conectan los algoritmos existentes son de gran importancia, sin embargo, son extremadamente raros. I-Con proporciona un excelente ejemplo de un enfoque unificador y, con suerte, a otros inspirarán a otros a aplicar un enfoque similar a otros dominios del aprendizaje automático», dice Yeir Weiss, un profesor de informática en la escuela y, con suerte, a otros, a la escuela y a otros, a la escuela de la escuela y a los que la escuela de la escuela y el profesor de la escuela y el profesor de la escuela y el profesor de la escuela y el profesor de la escuela y el Profesor de la Escuela y la EquiniAn Engelly de la escuela y el Profesor de la Escuela de Ingeniería de la Escuela y el Profesor de la Escuela y la Ingeniería. de Jerusalén, que no estuvo involucrado en esta investigación.
Esta investigación fue financiada, en parte, por el Acelerador de Inteligencia Artificial de la Fuerza Aérea, el Instituto Nacional de AI para la inteligencia artificial e interacciones fundamentales, y la computadora de Quanta.
