¿Es esta revisión de la película un rave o una sartén? ¿Es esta noticia sobre negocios o tecnología? ¿Esta conversación de chatbot en línea se desvía para dar consejos financieros? ¿Este sitio de información médica en línea está dando información errónea?
Este tipo de conversaciones automatizadas, ya sea que impliquen buscar una revisión de una película o restaurante o obtener información sobre su cuenta bancaria o registros de salud, son cada vez más frecuentes. Más que nunca, tales evaluaciones están siendo realizadas por algoritmos altamente sofisticados, conocidos como clasificadores de texto, en lugar de seres humanos. Pero, ¿cómo podemos decir cuán precisas son realmente estas clasificaciones?
Ahora, un equipo del Laboratorio de Información y Sistemas de Decisión (LID) del MIT ha presentado un enfoque innovador no solo para medir qué tan bien están haciendo estos clasificadores su trabajo, sino que luego vaya un paso más allá y muestre cómo hacerlos más precisos.
El nuevo software de evaluación y remediación fue desarrollado por Kalyan Veeramachaneni, un científico principal de investigación de Lids, sus alumnos Lei Xu y Sarah Alnegheimish, y otros dos. El paquete de software está haciendo disponible gratuitamente para descargar por cualquier persona que quiera usarlo.
Un método estándar para probar estos sistemas de clasificación es crear lo que se conocen como ejemplos sintéticos: oraciones que se parecen mucho a las que ya se han clasificado. Por ejemplo, los investigadores pueden tomar una oración que ya ha sido etiquetada por un programa de clasificadores como una revisión favorable, y ver si cambiar una palabra o algunas palabras mientras retiene el mismo significado podría engañar al clasificador para que considere una sartén. O una oración que se determinó que era información errónea podría ser errónea como precisa. Esta capacidad de engañar a los clasificadores hace estos ejemplos adversos.
La gente ha probado varias formas de encontrar las vulnerabilidades en estos clasificadores, dice Veeramachaneni. Pero los métodos existentes para encontrar estas vulnerabilidades tienen dificultades con esta tarea y se pierden muchos ejemplos que deberían atrapar, dice.
Cada vez más, las empresas están tratando de usar tales herramientas de evaluación en tiempo real, monitoreando la producción de chatbots utilizados para varios fines para tratar de asegurarse de que no estén presentando respuestas incorrectas. Por ejemplo, un banco podría usar un chatbot para responder a las consultas rutinarias de los clientes, como los saldos de las cuentas corrientes o solicitar una tarjeta de crédito, pero quiere asegurarse de que sus respuestas nunca puedan interpretarse como asesoramiento financiero, lo que podría exponer a la empresa a responsabilidad. «Antes de mostrar la respuesta del chatbot al usuario final, quieren usar el clasificador de texto para detectar si está dando consejos financieros o no», dice Veeramachaneni. Pero entonces es importante probar ese clasificador para ver cuán confiables son sus evaluaciones.
«Estos chatbots, o motores de resumen o otras cosas se están configurando en todos los ámbitos», dice, para tratar con clientes externos y dentro de una organización, por ejemplo, proporcionar información sobre problemas de recursos humanos. Es importante poner estos clasificadores de texto en el bucle para detectar cosas que no deben decir, y filtrarlos antes de que la salida se transmitiera al usuario.
Ahí es donde entra en el uso de ejemplos adversos: esas oraciones que ya se han clasificado pero luego producen una respuesta diferente cuando se modifican ligeramente mientras conservan el mismo significado. ¿Cómo pueden las personas confirmar que el significado es el mismo? Mediante el uso de otro modelo de lenguaje grande (LLM) que interpreta y compara significados. Entonces, si el LLM dice que las dos oraciones significan lo mismo, pero el clasificador las etiqueta de manera diferente: «Esa es una oración que es adversaria, puede engañar al clasificador», dice Veeramachaneni. Y cuando los investigadores examinaron estas oraciones adversas, «descubrimos que la mayoría de las veces, esto fue solo un cambio de una palabra», aunque las personas que usan LLM para generar estas oraciones alternativas a menudo no se dieron cuenta de eso.
Una mayor investigación, utilizando LLM para analizar muchos miles de ejemplos, mostró que ciertas palabras específicas tenían una influencia descomunal en el cambio de clasificaciones y, por lo tanto, la prueba de la precisión de un clasificador podría centrarse en este pequeño subconjunto de palabras que parecen marcar la mayor diferencia. Descubrieron que una décima parte del 1 por ciento de las 30,000 palabras en el vocabulario del sistema podría representar casi la mitad de todas estas reversiones de clasificación, en algunas aplicaciones específicas.
Lei Xu PhD ’23, un recién graduado de tapas que realizaron gran parte del análisis como parte de su trabajo de tesis, «utilizó muchas técnicas de estimación interesantes para descubrir cuáles son las palabras más poderosas que pueden cambiar la clasificación general, que pueden engañar al clasificador», dice Veeramachaneni. El objetivo es hacer posible realizar búsquedas mucho más estrechamente específicas, en lugar de peinar a través de todas las sustituciones de palabras posibles, lo que hace que la tarea computacional de generar ejemplos adversos sea mucho más manejable. «Está utilizando modelos de idiomas grandes, curiosamente, como una forma de comprender el poder de una sola palabra».
Luego, también utilizando LLMS, busca otras palabras que estén estrechamente relacionadas con estas poderosas palabras, y así sucesivamente, lo que permite una clasificación general de palabras de acuerdo con su influencia en los resultados. Una vez que se han encontrado estas oraciones adversas, se pueden usar a su vez para volver a entrenar el clasificador para tenerlas en cuenta, aumentando la robustez del clasificador contra esos errores.
Hacer que los clasificadores sean más precisos puede no parecer un gran problema si es solo una cuestión de clasificar los artículos de noticias en categorías o decidir si las revisiones de cualquier cosa, desde películas hasta restaurantes, son positivas o negativas. Pero cada vez más, los clasificadores se están utilizando en entornos en los que los resultados realmente importan, ya sea evitando la liberación inadvertida de información médica, financiera o de seguridad sensible, o ayudando a guiar investigaciones importantes, como las propiedades de los compuestos químicos o el plegamiento de proteínas para aplicaciones biomédicas, o para identificar y bloquear el discurso de odio o la desinformación conocida.
Como resultado de esta investigación, el equipo introdujo una nueva métrica, que llaman P, que proporciona una medida de cuán robusto es un clasificador dado contra ataques de una sola palabra. Y debido a la importancia de tales clasificaciones erróneas, el equipo de investigación ha puesto a disposición sus productos como acceso abierto para que cualquiera lo use. El paquete consta de dos componentes: SP-Attack, que genera oraciones adversas para probar clasificadores en cualquier aplicación en particular, y en defensa SP, que tiene como objetivo mejorar la robustez del clasificador mediante la generación y el uso de oraciones adversas para volver a entrenar el modelo.
En algunas pruebas, donde los métodos competitivos para probar las salidas del clasificador permitieron una tasa de éxito del 66 por ciento mediante ataques adversos, el sistema de este equipo redujo esa tasa de éxito de ataques casi a la mitad, al 33.7 por ciento. En otras aplicaciones, la mejora fue tan pequeña como una diferencia del 2 por ciento, pero incluso eso puede ser bastante importante, dice Veeramachaneni, ya que estos sistemas se están utilizando durante tantos miles de millones de interacciones que incluso un pequeño porcentaje puede afectar a millones de transacciones.
Los resultados del equipo se publicaron el 7 de julio en la revista. Sistemas expertos En el papel de Xu, Veerachanami y Alnegheimish of Lids, junto con Laure Berti-Equille e Ird en Marsella, Francia y Alfredo cuesta-Infante en la Universidad Carlos, en España.
