Imagina que tú y un amigo están jugando un juego en el que su objetivo es comunicarse mensajes secretos utilizando únicamente frases crípticas. El trabajo de tu amigo es adivinar el mensaje secreto detrás de tus frases. A veces, das pistas directamente y otras veces, tu amigo tiene que adivinar el mensaje haciendo preguntas de sí o no sobre las pistas que le has dado. El desafío es que ambos quieren asegurarse de entenderse correctamente y estar de acuerdo con el mensaje secreto.
Los investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT han creado un «juego» similar para ayudar a mejorar la forma en que la IA entiende y genera texto. Se lo conoce como “juego de consenso” e involucra dos partes de un sistema de inteligencia artificial: una parte intenta generar oraciones (como dar pistas) y la otra parte intenta comprender y evaluar esas oraciones (como adivinar el mensaje secreto).
Los investigadores descubrieron que al tratar esta interacción como un juego, donde ambas partes de la IA trabajan juntas bajo reglas específicas para acordar el mensaje correcto, podrían mejorar significativamente la capacidad de la IA para dar respuestas correctas y coherentes a las preguntas. Probaron este nuevo enfoque similar a un juego en una variedad de tareas, como comprensión lectora, resolución de problemas matemáticos y conversación, y descubrieron que ayudó a que la IA tuviera un mejor desempeño en todos los ámbitos.
Tradicionalmente, los modelos de lenguaje grandes responden de dos maneras: generando respuestas directamente desde el modelo (consulta generativa) o utilizando el modelo para calificar un conjunto de respuestas predefinidas (consulta discriminativa), lo que puede conducir a resultados diferentes y, a veces, incompatibles. Con el enfoque generativo, «¿Quién es el presidente de Estados Unidos?» podría dar una respuesta sencilla como «Joe Biden». Sin embargo, una consulta discriminatoria podría cuestionar incorrectamente este hecho al evaluar la misma respuesta, como por ejemplo «Barack Obama».
Entonces, ¿cómo conciliamos procedimientos de puntuación mutuamente incompatibles para lograr predicciones coherentes y eficientes?
«Imagine una nueva forma de ayudar a los modelos de lenguaje a comprender y generar texto, como un juego. Hemos desarrollado un método de teoría de juegos sin entrenamiento que trata todo el proceso como un juego complejo de pistas y señales, donde un generador intenta enviar el mensaje correcto a un discriminador usando lenguaje natural, en lugar de piezas de ajedrez, están usando palabras y oraciones», dice Athul Jacob, estudiante de doctorado del MIT en ingeniería eléctrica e informática y afiliado a CSAIL. «Nuestra forma de navegar este juego es encontrar los ‘equilibrios aproximados’, lo que lleva a un nuevo algoritmo de decodificación llamado ‘clasificación de equilibrio’. Es una demostración bastante emocionante de cómo incorporar estrategias de teoría de juegos a la combinación puede abordar grandes desafíos para hacer que los modelos de lenguaje sean más confiables y consistentes».
Cuando se probó en muchas tareas, como comprensión lectora, razonamiento de sentido común, resolución de problemas matemáticos y diálogo, el algoritmo del equipo mejoró constantemente el rendimiento de estos modelos. El uso del algoritmo ER con el modelo LLaMA-7B incluso eclipsó los resultados de modelos mucho más grandes. «Teniendo en cuenta que ya son competitivos, la gente ha estado trabajando en ello durante un tiempo, pero el nivel de mejoras que vimos al poder superar a un modelo que es 10 veces más grande fue una agradable sorpresa», dice Jacob.
Juego encendido
«Diplomacia», un juego de mesa estratégico ambientado en la Europa anterior a la Primera Guerra Mundial, donde los jugadores negocian alianzas, traicionan a amigos y conquistan territorios sin el uso de dados, basándose únicamente en la habilidad, la estrategia y la manipulación interpersonal, recientemente tuvo una segunda venida. . En noviembre de 2022, científicos informáticos, incluido Jacob, desarrollaron “Cicerón”, un agente de inteligencia artificial que alcanza capacidades de nivel humano en el juego de siete jugadores de motivos mixtos, que requiere las mismas habilidades antes mencionadas, pero con lenguaje natural. Las matemáticas detrás de esto inspiraron parcialmente el Juego del Consenso.
Si bien la historia de los agentes de IA es mucho anterior a la entrada del software OpenAI en el chat en noviembre de 2022, está bien documentado que todavía pueden disfrazarse de su amigo bien intencionado pero patológico.
El sistema de juego de consenso alcanza el equilibrio como un acuerdo, asegurando precisión y fidelidad a las ideas originales del modelo. Para lograr esto, el método ajusta iterativamente las interacciones entre los componentes generativo y discriminativo hasta llegar a un consenso sobre una respuesta que refleje con precisión la realidad y se alinee con sus creencias iniciales. Este enfoque cierra efectivamente la brecha entre los dos métodos de consulta.
En la práctica, implementar el enfoque del juego de consenso para la consulta de modelos de lenguaje, especialmente para tareas de respuesta a preguntas, implica importantes desafíos computacionales. Por ejemplo, cuando se utilizan conjuntos de datos como MMLU, que tienen miles de preguntas y respuestas de opción múltiple, el modelo debe aplicar el mecanismo a cada consulta. Luego, debe llegar a un consenso entre los componentes generativo y discriminativo de cada pregunta y sus posibles respuestas.
El sistema tuvo problemas con un derecho de aprobación de la escuela primaria: los problemas matemáticos planteados. No podía generar respuestas incorrectas, lo cual es un componente crítico para comprender el proceso de encontrar la respuesta correcta.
“En los últimos años se ha visto un progreso realmente impresionante tanto en la toma de decisiones estratégicas como en la generación de lenguaje a partir de sistemas de IA, pero recién estamos comenzando a descubrir cómo unir ambos. La clasificación de equilibrio es un primer paso en esta dirección, pero creo que hay mucho que podremos hacer para ampliar esto a problemas más complejos”, dice Jacob.
Una vía de trabajo futuro implica mejorar el modelo base integrando los resultados del método actual. Esto es particularmente prometedor ya que puede producir respuestas más objetivas y consistentes en diversas tareas, incluida la factualidad y la generación abierta. El potencial de que un método de este tipo mejore significativamente el rendimiento del modelo base es alto, lo que podría dar como resultado resultados más confiables y factuales de ChatGPT y modelos de lenguaje similares que la gente usa a diario.
«Aunque los modelos de lenguaje modernos, como ChatGPT y Gemini, han llevado a la resolución de diversas tareas a través de interfaces de chat, el proceso de decodificación estadística que genera una respuesta a partir de tales modelos no ha cambiado durante décadas», dice el científico investigador de Google Ahmad Beirami, quien fue no involucrado en el trabajo. «La propuesta de los investigadores del MIT es un marco innovador de teoría de juegos para decodificar modelos de lenguaje mediante la resolución del equilibrio de un juego de consenso. Las importantes mejoras en el rendimiento reportadas en el artículo de investigación son prometedoras y abren la puerta a un posible cambio de paradigma en el lenguaje. decodificación de modelos que puede impulsar una avalancha de nuevas aplicaciones».
Jacob escribió el artículo con el investigador del Laboratorio Watson del MIT-IBM, Yikang Shen, y los profesores asistentes del Departamento de Ingeniería Eléctrica y Ciencias de la Computación del MIT, Gabriele Farina y Jacob Andreas, quien también es miembro de CSAIL. Presentaron su trabajo en la Conferencia Internacional sobre Representaciones del Aprendizaje (ICLR) a principios de este mes, donde fue destacado como un «documento destacado». La investigación también recibió un “premio al mejor artículo” en el taller NeurIPS R0-FoMo en diciembre de 2023.