Los agentes de viajes ayudan a proporcionar logística de extremo a extremo, como transporte, alojamiento, comidas y alojamiento, para empresarios, vacacionistas y todos los demás. Para aquellos que buscan hacer sus propios arreglos, los modelos de idiomas grandes (LLM) parecen ser una herramienta fuerte para emplear para esta tarea debido a su capacidad de interactuar de manera iterativa usando un lenguaje natural, proporcionar un razonamiento de sentido común, recopilar información y llamar a otras herramientas para ayudar con la tarea en cuestión. Sin embargo, el trabajo reciente ha encontrado que los LLM de vanguardia luchan con un razonamiento logístico y matemático complejo, así como problemas con múltiples limitaciones, como la planificación del viaje, donde se ha encontrado que proporcionan soluciones viables el 4 por ciento o menos del tiempo, incluso con herramientas adicionales e interfaces de programación de aplicaciones (API).
Posteriormente, un equipo de investigación del MIT y el laboratorio MIT-IBM Watson AI reformularon el problema para ver si podrían aumentar la tasa de éxito de las soluciones de LLM para problemas complejos. «Creemos que muchos de estos problemas de planificación son naturalmente un problema de optimización combinatoria», donde debe satisfacer varias restricciones de manera certificable, dice Chuchu Fan, profesor asociado en el Departamento de Aeronáutica y Astronáutica (Aeroastro) y los sistemas de decisiones de Laboratorio y Decisión del MIT. También es investigadora en el laboratorio MIT-IBM Watson AI. Su equipo aplica el aprendizaje automático, la teoría de control y los métodos formales para desarrollar sistemas de control seguros y verificables para robótica, sistemas autónomos, controladores e interacciones humanas-máquina.
Al observar la naturaleza transferible de su trabajo para la planificación de viajes, el grupo buscó crear un marco fácil de usar que pueda actuar como un corredor de viajes de IA para ayudar a desarrollar planes de viaje realistas, lógicos y completos. Para lograr esto, los investigadores combinaron LLM comunes con algoritmos y un solucionador de satisfacción completo. Los solucionadores son herramientas matemáticas que verifican rigurosamente si se pueden cumplir los criterios y cómo, pero requieren una programación de computadoras compleja para su uso. Esto los convierte en compañeros naturales para LLM para problemas como estos, donde los usuarios quieren ayuda a planificar de manera oportuna, sin la necesidad de programar conocimiento o investigación sobre opciones de viaje. Además, si no se puede cumplir la restricción de un usuario, la nueva técnica puede identificar y articular dónde se encuentra el problema y proponer medidas alternativas al usuario, que luego puede elegir aceptarlos, rechazarlos o modificarlas hasta que se formule un plan válido, si existe.
«Las diferentes complejidades de la planificación de viajes son algo con lo que todos tendrán que lidiar en algún momento. Hay diferentes necesidades, requisitos, limitaciones e información del mundo real que puede recopilar», dice Fan. “Nuestra idea no es pedirle a LLMS que proponga un plan de viaje. En cambio, un LLM aquí está actuando como traductor para traducir esta descripción del lenguaje natural del problema en un problema que un solucionador puede manejar [and then provide that to the user]»Dice Fan.
La coautoría de un artículo sobre el trabajo con los fanáticos es Yang Zhang del laboratorio MIT-IBM Watson Ai, el estudiante graduado de Aeroastro Yilun Hao y el estudiante graduado Yongchao Chen de MIT Lids y la Universidad de Harvard. Este trabajo se presentó recientemente en la Conferencia de las Naciones del Capítulo de la Asociación de Lingüística Computacional de América.
Romper el solucionador
Las matemáticas tienden a ser específicas del dominio. Por ejemplo, en el procesamiento del lenguaje natural, los LLM realizan regresiones para predecir el siguiente token, también conocido como «Word», en una serie para analizar o crear un documento. Esto funciona bien para generalizar diversos insumos humanos. Sin embargo, solo LLMS no funcionaría para aplicaciones de verificación formales, como en la seguridad aeroespacial o cibernética, donde las conexiones de circuito y las tareas de restricción deben ser completas y probadas, de lo contrario, las lagunas y las vulnerabilidades pueden escabullirse y causar problemas de seguridad críticos. Aquí, los solucionadores se destacan, pero necesitan entradas de formato fijo y luchan con consultas insatisfactorias. Sin embargo, una técnica híbrida brinda la oportunidad de desarrollar soluciones para problemas complejos, como la planificación de viajes, de una manera intuitiva para las personas comunes.
«El solucionador es realmente la clave aquí, porque cuando desarrollamos estos algoritmos, sabemos exactamente cómo el problema se está resolviendo como un problema de optimización», dice Fan. Específicamente, el grupo de investigación utilizó un solucionador llamado Satisfiability Moduloories (SMT), que determina si una fórmula puede ser satisfecha. «Con este solucionador en particular, no solo está haciendo optimización. Está haciendo razonamiento sobre muchos algoritmos diferentes allí para comprender si el problema de planificación es posible o no resolver. Eso es algo bastante significativo en la planificación de viajes. No es un problema de optimización matemática muy tradicional porque las personas presentan todas estas limitaciones, restricciones, restricciones», señala fan.
Traducción en acción
El «agente de viajes» funciona en cuatro pasos que se pueden repetir, según sea necesario. Los investigadores utilizaron GPT-4, Claude-3 o Mistral-Large como el Método LLM. Primero, el LLM analiza el plan de viaje solicitado de un usuario en los pasos de planificación, observando preferencias de presupuesto, hoteles, transporte, destinos, atracciones, restaurantes y duración del viaje en días, así como cualquier otra prescripción de los usuarios. Esos pasos se convierten en el código de Python ejecutable (con una anotación de lenguaje natural para cada una de las limitaciones), que llama a API como CitySearch, FlightSearch, etc. para recopilar datos, y el solucionador SMT para comenzar a ejecutar los pasos establecidos en el problema de satisfacción de la restricción. Si se puede encontrar una solución sólida y completa, el solucionador genera el resultado al LLM, que luego proporciona un itinerario coherente al usuario.
Si no se pueden cumplir una o más restricciones, el marco comienza a buscar una alternativa. El código de salida del solucionador que identifica las restricciones conflictivas (con su anotación correspondiente) que el LLM luego proporciona al usuario un remedio potencial. El usuario puede decidir cómo proceder, hasta que se alcance una solución (o el número máximo de iteraciones).
Planificación generalizable y robusta
Los investigadores probaron su método utilizando los LLM antes mencionados contra otras líneas de base: GPT-4 por sí mismo, OpenAI O1 Preview por sí mismo, GPT-4 con una herramienta para recopilar información y un algoritmo de búsqueda que optimiza el costo total. Utilizando el conjunto de datos TravelPlanner, que incluye datos para planes viables, el equipo analizó múltiples métricas de rendimiento: con qué frecuencia un método podría ofrecer una solución, si la solución satisface los criterios de sentido común, como no visitar dos ciudades en un día, la capacidad del método para cumplir con una o más restricciones y una tasa de aprobación final que indica que podría cumplir con todas las restricciones. La nueva técnica generalmente logró una tasa de aprobación del 90 por ciento, en comparación con el 10 por ciento o menor para las líneas de base. El equipo también exploró la adición de una representación JSON dentro del paso de consulta, lo que facilitó el método proporcionar soluciones con tasas de aprobación del 84.4-98.9 por ciento.
El equipo MIT-IBM planteó desafíos adicionales para su método. Observaron cuán importante era cada componente de su solución, como eliminar la retroalimentación humana o el solucionador, y cómo eso afectó los ajustes del plan a consultas insatisfactorias dentro de 10 o 20 iteraciones utilizando un nuevo conjunto de datos que crearon llamado Unchristmas, que incluye restricciones invisibles y una versión modificada de TravelPlanner. En promedio, el marco del grupo MIT-IBM logró un éxito de 78.6 y 85 por ciento, lo que aumenta a 81.6 y 91.7 por ciento con rondas adicionales de modificación del plan. Los investigadores analizaron qué tan bien manejó restricciones nuevas e invisibles y las indicaciones para el paso de consultas y el código de paso. En ambos casos, funcionó muy bien, especialmente con una tasa de aprobación del 86.7 por ciento para el juicio de parafraseo.
Por último, los investigadores del MIT-IBM aplicaron su marco a otros dominios con tareas como la selección de bloque, la asignación de tareas, el problema del vendedor ambulante y el almacén. Aquí, el método debe seleccionar bloques de color numerado y maximizar su puntaje; Optimizar la asignación de tareas de robot para diferentes escenarios; Planifique los viajes minimizando la distancia recorrida; y finalización y optimización de la tarea del robot.
«Creo que este es un marco muy fuerte e innovador que puede ahorrar mucho tiempo para los humanos, y también es una combinación muy novedosa del LLM y el solucionador», dice Hao.
Este trabajo fue financiado, en parte, por la Oficina de Investigación Naval y el Laboratorio MIT-IBM Watson AI.
