Los científicos cognitivos han buscado durante mucho tiempo comprender qué hace que algunas oraciones sean más difíciles de comprender que otras. Los investigadores creen que cualquier descripción de la comprensión del lenguaje se beneficiaría de las dificultades de comprensión en la comprensión.
En los últimos años, los investigadores desarrollaron con éxito dos modelos que explican dos tipos significativos de dificultad para comprender y producir oraciones. Si bien estos modelos predicen con éxito patrones específicos de dificultades de comprensión, sus predicciones son limitadas y no coinciden completamente con los resultados de los experimentos de comportamiento. Además, hasta hace poco los investigadores no podían integrar estos dos modelos en una cuenta coherente.
Un nuevo estudio dirigido por investigadores del Departamento de Ciencias del Cerebro y Cognitivas (BCS) del MIT ahora proporciona una explicación unificada de las dificultades en la comprensión del lenguaje. Sobre la base de los avances recientes en el aprendizaje automático, los investigadores desarrollaron un modelo que predice mejor la facilidad, o la falta de ella, con la que las personas producen y comprenden oraciones. Recientemente publicaron sus hallazgos en el procedimientos de la Academia Nacional de Ciencias.
Los autores principales del artículo son los profesores de BCS Roger Levy y Edward (Ted) Gibson. El autor principal es el antiguo estudiante visitante de Levy y Gibson, Michael Hahn, ahora profesor en la Universidad de Saarland. El segundo autor es Richard Futrell, otro ex alumno de Levy y Gibson que ahora es profesor en la Universidad de California en Irvine.
«Esta no es solo una versión ampliada de las cuentas existentes para las dificultades de comprensión», dice Gibson; «Ofrecemos un nuevo enfoque teórico subyacente que permite mejores predicciones».
Los investigadores se basaron en los dos modelos existentes para crear una descripción teórica unificada de la dificultad de comprensión. Cada uno de estos modelos más antiguos identifica un culpable distinto para la comprensión frustrada: dificultad en la expectativa y dificultad en la recuperación de la memoria. Experimentamos dificultad en la expectativa cuando una oración no nos permite anticipar fácilmente las próximas palabras. Experimentamos dificultades en la recuperación de la memoria cuando tenemos dificultades para seguir una oración que presenta una estructura compleja de cláusulas incrustadas, como: «El hecho de que el médico en quien el abogado desconfiaba molestara al paciente fue sorprendente».
En 2020, Futrell ideó por primera vez una teoría que unificaba estos dos modelos. Argumentó que los límites en la memoria no afectan solo la recuperación en oraciones con cláusulas incrustadas, sino que plagan toda la comprensión del lenguaje; Nuestras limitaciones de memoria no nos permiten representar perfectamente los contextos de las oraciones durante la comprensión del lenguaje en general.
Así, según este modelo unificado, las limitaciones de memoria pueden crear una nueva fuente de dificultad en la anticipación. Podemos tener dificultades para anticipar una próxima palabra en una oración, incluso si la palabra debería ser fácilmente predecible por el contexto, en caso de que el contexto de la oración en sí sea difícil de retener en la memoria. Considere, por ejemplo, una oración que comienza con las palabras «Bob tiró la basura…», podemos anticipar fácilmente la última palabra: «fuera». Pero si el contexto de la oración que precede a la palabra final es más complejo, surgen dificultades en la expectativa: «Bob tiró la basura vieja que había estado en la cocina durante varios días». [out].»
Los investigadores cuantifican la dificultad de comprensión midiendo el tiempo que tardan los lectores en responder a diferentes tareas de comprensión. Cuanto más largo sea el tiempo de respuesta, más desafiante será la comprensión de una oración determinada. Los resultados de experimentos anteriores mostraron que la cuenta unificada de Futrell predijo las dificultades de comprensión de los lectores mejor que los dos modelos anteriores. Pero su modelo no identificó qué partes de la oración tendemos a olvidar, y cómo exactamente esta falla en la recuperación de la memoria ofusca la comprensión.
El nuevo estudio de Hahn llena estos vacíos. En el nuevo artículo, los científicos cognitivos del MIT se unieron a Futrell para proponer un modelo aumentado basado en un nuevo marco teórico coherente. El nuevo modelo identifica y corrige los elementos que faltan en la cuenta unificada de Futrell y proporciona nuevas predicciones precisas que coinciden mejor con los resultados de los experimentos empíricos.
Al igual que en el modelo original de Futrell, los investigadores parten de la idea de que nuestra mente, debido a las limitaciones de la memoria, no representa perfectamente las oraciones que encontramos. Pero a esto le añaden el principio teórico de la eficiencia cognitiva. Proponen que la mente tiende a desplegar sus limitados recursos de memoria de una manera que optimiza su capacidad para predecir con precisión la entrada de nuevas palabras en las oraciones.
Esta noción conduce a varias predicciones empíricas. De acuerdo con una predicción clave, los lectores compensan sus representaciones de memoria imperfectas confiando en su conocimiento de las co-ocurrencias estadísticas de palabras para reconstruir implícitamente las oraciones que leen en sus mentes. Por lo tanto, las oraciones que incluyen palabras y frases más raras son más difíciles de recordar a la perfección, lo que dificulta anticipar las próximas palabras. Como resultado, tales oraciones son generalmente más difíciles de comprender.
Para evaluar si esta predicción coincide con nuestro comportamiento lingüístico, los investigadores utilizaron GPT-2, una herramienta de lenguaje natural de inteligencia artificial basada en el modelado de redes neuronales. Esta herramienta de aprendizaje automático, que se hizo pública por primera vez en 2019, permitió a los investigadores probar el modelo en datos de texto a gran escala de una manera que antes no era posible. Pero la poderosa capacidad de modelado del lenguaje de GPT-2 también creó un problema: a diferencia de los humanos, la memoria inmaculada de GPT-2 representa perfectamente todas las palabras, incluso en textos muy largos y complejos que procesa. Para caracterizar con mayor precisión la comprensión del lenguaje humano, los investigadores agregaron un componente que simula las limitaciones humanas en los recursos de memoria, como en el modelo original de Futrell, y utilizaron técnicas de aprendizaje automático para optimizar cómo se usan esos recursos, como en su nuevo modelo propuesto. El modelo resultante conserva la capacidad de GPT-2 para predecir palabras con precisión la mayor parte del tiempo, pero muestra desgloses similares a los humanos en casos de oraciones con combinaciones raras de palabras y frases.
«Esta es una maravillosa ilustración de cómo las herramientas modernas de aprendizaje automático pueden ayudar a desarrollar la teoría cognitiva y nuestra comprensión de cómo funciona la mente», dice Gibson. «No podríamos haber realizado esta investigación aquí incluso hace unos años».
Los investigadores alimentaron el modelo de aprendizaje automático con un conjunto de oraciones con cláusulas incrustadas complejas como: «El informe de que el médico en quien el abogado desconfiaba molestó al paciente fue sorprendente». Luego, los investigadores tomaron estas oraciones y reemplazaron sus sustantivos de apertura, «informe» en el ejemplo anterior, con otros sustantivos, cada uno con su propia probabilidad de aparecer con una cláusula siguiente o no. Algunos sustantivos hicieron que las oraciones en las que estaban colocados fueran más fáciles de «comprender» para el programa de IA. Por ejemplo, el modelo pudo predecir con mayor precisión cómo terminan estas oraciones cuando comenzaban con la frase común «El hecho de que» que cuando comenzaban con la frase más rara «El informe de eso».
Luego, los investigadores se propusieron corroborar los resultados basados en IA mediante la realización de experimentos con participantes que leyeron oraciones similares. Sus tiempos de respuesta a las tareas de comprensión fueron similares a las predicciones del modelo. «Cuando las oraciones comienzan con las palabras ‘informar eso’, la gente tiende a recordar la oración de forma distorsionada», dice Gibson. La rara frase restringió aún más su memoria y, como resultado, restringió su comprensión.
Estos resultados demuestran que el nuevo modelo supera a los modelos existentes en la predicción de cómo los humanos procesan el lenguaje.
Otra ventaja que demuestra el modelo es su capacidad para ofrecer predicciones variables de un idioma a otro. «Los modelos anteriores sabían explicar por qué ciertas estructuras del lenguaje, como oraciones con cláusulas incrustadas, pueden ser generalmente más difíciles de trabajar dentro de las restricciones de la memoria, pero nuestro nuevo modelo puede explicar por qué las mismas restricciones se comportan de manera diferente en diferentes idiomas», dice Levy. «Las oraciones con cláusulas incrustadas en el centro, por ejemplo, parecen ser más fáciles para los hablantes nativos de alemán que para los hablantes nativos de inglés, ya que los hablantes de alemán están acostumbrados a leer oraciones donde las cláusulas subordinadas llevan el verbo al final de la oración».
Según Levy, se necesita más investigación sobre el modelo para identificar las causas de la representación incorrecta de oraciones que no sean cláusulas incrustadas. «Hay otros tipos de ‘confusiones’ que necesitamos probar». Simultáneamente, agrega Hahn, «el modelo puede predecir otras ‘confusiones’ en las que nadie siquiera ha pensado. Ahora estamos tratando de encontrarlas y ver si afectan la comprensión humana como se predijo».
Otra pregunta para futuros estudios es si el nuevo modelo conducirá a repensar una larga línea de investigación centrada en las dificultades de la integración de oraciones: «Muchos investigadores han enfatizado las dificultades relacionadas con el proceso en el que reconstruimos las estructuras del lenguaje en nuestras mentes». dice Levy. «El nuevo modelo posiblemente muestra que la dificultad no se relaciona con el proceso de reconstrucción mental de estas oraciones, sino con el mantenimiento de la representación mental una vez que ya están construidas. Una gran pregunta es si se trata o no de dos cosas separadas».
De una forma u otra, añade Gibson, “este tipo de trabajo marca el futuro de la investigación sobre estas cuestiones”.
