Los científicos ambientales están utilizando cada vez más enormes modelos de inteligencia artificial para hacer predicciones sobre los cambios en el clima y el clima, pero un nuevo estudio de los investigadores del MIT muestra que los modelos más grandes no siempre son mejores.
El equipo demuestra que, en ciertos escenarios climáticos, los modelos mucho más simples basados en la física pueden generar predicciones más precisas que los modelos de aprendizaje profundo de última generación.
Su análisis también revela que una técnica de evaluación comparativa comúnmente utilizada para evaluar las técnicas de aprendizaje automático para las predicciones climáticas puede distorsionarse por variaciones naturales en los datos, como las fluctuaciones en los patrones climáticos. Esto podría llevar a alguien a creer que un modelo de aprendizaje profundo hace predicciones más precisas cuando ese no es el caso.
Los investigadores desarrollaron una forma más robusta de evaluar estas técnicas, lo que muestra que, si bien los modelos simples son más precisos al estimar las temperaturas de la superficie regional, los enfoques de aprendizaje profundo pueden ser la mejor opción para estimar la lluvia local.
Utilizaron estos resultados para mejorar una herramienta de simulación conocida como emulador climático, que puede simular rápidamente el efecto de las actividades humanas en un clima futuro.
Los investigadores ven su trabajo como una «historia de advertencia» sobre el riesgo de desplegar grandes modelos de IA para la ciencia climática. Si bien los modelos de aprendizaje profundo han mostrado un éxito increíble en dominios como el lenguaje natural, la ciencia climática contiene un conjunto comprobado de leyes y aproximaciones físicas, y el desafío se convierte en cómo incorporarlos a los modelos de IA.
“We are trying to develop models that are going to be useful and relevant for the kinds of things that decision-makers need going forward when making climate policy choices. While it might be attractive to use the latest, big-picture machine-learning model on a climate problem, what this study shows is that stepping back and really thinking about the problem fundamentals is important and useful,” says study senior author Noelle Selin, a professor in the MIT Institute for Data, Systems, and Society (IDSS) and the Departamento de Tierra, Ciencias Atmosféricas y Planetarias (EAPS), y Director del Centro de Ciencia y Estrategia de Sostenibilidad.
Los coautores de Selin son el autor principal Björn Lütjens, ex postdoc de EAPS que ahora es científico de investigación de IBM Research; Autor senior Raffaele Ferrari, profesor de Oceanografía de Cecil e Ida Green en EAPS y codirector del Centro Lorenz; y Duncan Watson-Parris, profesor asistente en la Universidad de California en San Diego. Selin y Ferrari también son investigadores copresistentes del Computación de Traer al Proyecto de Desafío Climático, de la cual surgió esta investigación. El documento aparece hoy en el Journal of Advances in Modeling Earth Systems.
Comparación de emuladores
Debido a que el clima de la Tierra es tan complejo, ejecutar un modelo climático de última generación para predecir cómo los niveles de contaminación afectarán los factores ambientales como la temperatura pueden llevar semanas en las supercomputadoras más poderosas del mundo.
Los científicos a menudo crean emuladores climáticos, aproximaciones más simples de un modelo climático de última generación, que son más rápidos y más accesibles. Un fabricante de políticas podría usar un emulador climático para ver cómo los suposiciones alternativas sobre las emisiones de gases de efecto invernadero afectarían las temperaturas futuras, ayudándoles a desarrollar regulaciones.
Pero un emulador no es muy útil si hace predicciones inexactas sobre los impactos locales del cambio climático. Si bien el aprendizaje profundo se ha vuelto cada vez más popular para la emulación, pocos estudios han explorado si estos modelos funcionan mejor que los enfoques probados y verdaderos.
Los investigadores del MIT realizaron dicho estudio. Compararon una técnica tradicional llamada escala de patrones lineales (LPS) con un modelo de aprendizaje profundo que utiliza un conjunto de datos de referencia común para evaluar los emuladores climáticos.
Sus resultados mostraron que LPS superó a los modelos de aprendizaje profundo para predecir casi todos los parámetros que probaron, incluida la temperatura y la precipitación.
«Los grandes métodos de IA son muy atractivos para los científicos, pero rara vez resuelven un problema completamente nuevo, por lo que es necesario implementar una solución existente primero para averiguar si el enfoque complejo de aprendizaje automático realmente mejora», dice Lütjens.
Algunos resultados iniciales parecían volar frente al conocimiento del dominio de los investigadores. El poderoso modelo de aprendizaje profundo debería haber sido más preciso al hacer predicciones sobre la precipitación, ya que esos datos no siguen un patrón lineal.
Descubrieron que la gran cantidad de variabilidad natural en las corridas del modelo climático puede hacer que el modelo de aprendizaje profundo funcione mal en oscilaciones impredecibles a largo plazo, como El Niño/La Niña. Esto sesga los puntajes de evaluación comparativa a favor de LPS, que promedia esas oscilaciones.
Construyendo una nueva evaluación
A partir de ahí, los investigadores construyeron una nueva evaluación con más datos que abordan la variabilidad del clima natural. Con esta nueva evaluación, el modelo de aprendizaje profundo funcionó ligeramente mejor que LPS para la precipitación local, pero LPS fue aún más preciso para las predicciones de temperatura.
«Es importante usar la herramienta de modelado adecuada para el problema, pero para hacerlo también debe configurar el problema de la manera correcta en primer lugar», dice Selin.
Según estos resultados, los investigadores incorporaron LPS en una plataforma de emulación climática para predecir los cambios de temperatura locales en diferentes escenarios de emisión.
«No abogamos por que LPS siempre debe ser el objetivo. Todavía tiene limitaciones. Por ejemplo, LPS no predice la variabilidad o los eventos climáticos extremos», agrega Ferrari.
Más bien, esperan que sus resultados enfaticen la necesidad de desarrollar mejores técnicas de evaluación comparativa, lo que podría proporcionar una imagen más completa de la cual la técnica de emulación climática es más adecuada para una situación particular.
«Con un punto de referencia de emulación climático mejorado, podríamos usar métodos de aprendizaje automático más complejos para explorar problemas que actualmente son muy difíciles de abordar, como los impactos de los aerosoles o las estimaciones de precipitación extrema», dice Lütjens.
En última instancia, las técnicas de evaluación comparativa más precisas ayudarán a garantizar que los responsables políticos estén tomando decisiones basadas en la mejor información disponible.
Los investigadores esperan que otros se basen en su análisis, tal vez estudiando mejoras adicionales a los métodos y puntos de referencia de la emulación climática. Dicha investigación podría explorar métricas orientadas al impacto como indicadores de sequía y riesgos de incendios forestales, o nuevas variables como las velocidades regionales del viento.
Esta investigación es financiada, en parte, por Schmidt Sciences, LLC, y es parte del equipo del MIT Climate Grand Desafíos para «traer cálculo al desafío climático».
