Cuando los modelos de aprendizaje automático se implementan en situaciones del mundo real, tal vez para señalar una posible enfermedad en los rayos X para que un radiólogo la revise, los usuarios humanos necesitan saber cuándo confiar en las predicciones del modelo.
Pero los modelos de aprendizaje automático son tan grandes y complejos que incluso los científicos que los diseñan no entienden exactamente cómo los modelos hacen predicciones. Entonces, crean técnicas conocidas como métodos de prominencia que buscan explicar el comportamiento del modelo.
Con el lanzamiento de nuevos métodos todo el tiempo, los investigadores del MIT e IBM Research crearon una herramienta para ayudar a los usuarios a elegir el mejor método de prominencia para su tarea particular. Desarrollaron tarjetas de prominencia, que brindan documentación estandarizada de cómo funciona un método, incluidas sus fortalezas y debilidades y explicaciones para ayudar a los usuarios a interpretarlo correctamente.
Esperan que, armados con esta información, los usuarios puedan seleccionar deliberadamente un método de prominencia apropiado tanto para el tipo de modelo de aprendizaje automático que están usando como para la tarea que está realizando ese modelo, explica la coautora principal Angie Boggust, estudiante graduada en electricidad. ingeniería y ciencias de la computación en el MIT y miembro del Grupo de Visualización del Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT (CSAIL).
Las entrevistas con investigadores de IA y expertos de otros campos revelaron que las tarjetas ayudan a las personas a realizar rápidamente una comparación lado a lado de diferentes métodos y elegir una técnica apropiada para la tarea. Elegir el método correcto brinda a los usuarios una imagen más precisa de cómo se comporta su modelo, por lo que están mejor equipados para interpretar correctamente sus predicciones.
“Las tarjetas de prominencia están diseñadas para brindar un resumen rápido y visual de un método de prominencia y también dividirlo en los atributos más críticos centrados en el ser humano. Realmente están diseñados para todos, desde investigadores de aprendizaje automático hasta usuarios no profesionales que intentan comprender qué método usar y elegir uno por primera vez”, dice Boggust.
Junto a Boggust en el artículo están la coautora principal Harini Suresh, una estudiante de postdoctorado del MIT; Hendrik Strobelt, científico investigador sénior de IBM Research; John Guttag, Profesor Dugald C. Jackson de Informática e Ingeniería Eléctrica en el MIT; y el autor principal Arvind Satyanarayan, profesor asociado de informática en el MIT que dirige el Grupo de Visualización en CSAIL. La investigación se presentará en la Conferencia ACM sobre equidad, responsabilidad y transparencia.
Elegir el método correcto
Los investigadores evaluaron previamente los métodos de prominencia utilizando la noción de fidelidad. En este contexto, la fidelidad captura la precisión con la que un método refleja el proceso de toma de decisiones de un modelo.
Pero la fidelidad no es blanco o negro, explica Boggust. Un método puede funcionar bien bajo una prueba de fidelidad, pero fallar en otra. Con tantos métodos destacados y tantas posibles evaluaciones, los usuarios a menudo se deciden por un método porque es popular o porque un colega lo ha usado.
Sin embargo, elegir el método «incorrecto» puede tener graves consecuencias. Por ejemplo, un método de prominencia, conocido como gradientes integrados, compara la importancia de las características en una imagen con una línea de base sin sentido. Las características con mayor importancia sobre la línea de base son las más significativas para la predicción del modelo. Este método generalmente usa todos los 0 como línea de base, pero si se aplica a las imágenes, todos los 0 equivalen al color negro.
“Le dirá que cualquier píxel negro en su imagen no es importante, incluso si lo es, porque es idéntico a esa línea de base sin sentido. Esto podría ser un gran problema si está mirando radiografías, ya que el negro podría ser significativo para los médicos”, dice Boggust.
Las tarjetas de prominencia pueden ayudar a los usuarios a evitar este tipo de problemas al resumir cómo funciona un método de prominencia en términos de 10 atributos centrados en el usuario. Los atributos capturan la forma en que se calcula la prominencia, la relación entre el método de prominencia y el modelo, y cómo un usuario percibe sus resultados.
Por ejemplo, un atributo es la dependencia de hiperparámetros, que mide qué tan sensible es ese método de prominencia a los parámetros especificados por el usuario. Una tarjeta de prominencia para gradientes integrados describiría sus parámetros y cómo afectan su desempeño. Con la tarjeta, un usuario podía ver rápidamente que los parámetros predeterminados, una línea de base de todos los 0, podrían generar resultados engañosos al evaluar las radiografías.
Las tarjetas también podrían ser útiles para los científicos al exponer las lagunas en el espacio de investigación. Por ejemplo, los investigadores del MIT no pudieron identificar un método de prominencia que fuera computacionalmente eficiente, pero que también pudiera aplicarse a cualquier modelo de aprendizaje automático.
“¿Podemos llenar ese vacío? ¿Existe un método de prominencia que pueda hacer ambas cosas? O tal vez estas dos ideas están teóricamente en conflicto entre sí”, dice Boggust.
mostrando sus cartas
Una vez que crearon varias tarjetas, el equipo realizó un estudio de usuarios con ocho expertos en el dominio, desde informáticos hasta un radiólogo que no estaba familiarizado con el aprendizaje automático. Durante las entrevistas, todos los participantes dijeron que las descripciones concisas les ayudaron a priorizar atributos y comparar métodos. Y aunque no estaba familiarizado con el aprendizaje automático, el radiólogo pudo entender las tarjetas y usarlas para participar en el proceso de elección de un método de prominencia, dice Boggust.
Las entrevistas también revelaron algunas sorpresas. Los investigadores a menudo esperan que los médicos quieran un método que sea nítido, lo que significa que se enfoca en un objeto particular en una imagen médica. Pero el médico de este estudio en realidad prefirió algo de ruido en las imágenes médicas para ayudarlas a atenuar la incertidumbre.
“Cuando lo desglosamos en estos diferentes atributos y le preguntamos a la gente, ninguna persona tenía las mismas prioridades que los demás en el estudio, incluso cuando estaban en el mismo rol”, dice ella.
En el futuro, los investigadores quieren explorar algunos de los atributos menos evaluados y tal vez diseñar métodos de prominencia específicos de la tarea. También quieren desarrollar una mejor comprensión de cómo las personas perciben los resultados del método de prominencia, lo que podría conducir a mejores visualizaciones. Además, alojan su trabajo en un repositorio público para que otros puedan brindar comentarios que impulsarán el trabajo futuro, dice Boggust.
“Tenemos muchas esperanzas de que estos sean documentos vivos que crezcan a medida que se desarrollen nuevos métodos y evaluaciones de relevancia. Al final, esto es realmente solo el comienzo de una conversación más amplia sobre cuáles son los atributos de un método de prominencia y cómo se relacionan con diferentes tareas”, dice.
La investigación fue apoyada, en parte, por el MIT-IBM Watson AI Lab, el Laboratorio de Investigación de la Fuerza Aérea de EE. UU. y el Acelerador de Inteligencia Artificial de la Fuerza Aérea de EE. UU.