¿Deberías agarrar tu paraguas antes de salir por la puerta? Verificar el pronóstico del tiempo de antemano solo será útil si ese pronóstico es preciso.
Los problemas de predicción espacial, como el pronóstico meteorológico o la estimación de la contaminación del aire, implican predecir el valor de una variable en una nueva ubicación basada en valores conocidos en otras ubicaciones. Los científicos generalmente usan métodos de validación probados para determinar cuánto confiar en estas predicciones.
Pero los investigadores del MIT han demostrado que estos métodos de validación populares pueden fallar mucho para las tareas de predicción espacial. Esto podría llevar a alguien a creer que un pronóstico es preciso o que un nuevo método de predicción es efectivo, cuando en realidad ese no es el caso.
Los investigadores desarrollaron una técnica para evaluar los métodos de validación de predicción y lo usaron para demostrar que dos métodos clásicos pueden ser sustancialmente incorrectos en los problemas espaciales. Luego determinaron por qué estos métodos pueden fallar y crear un nuevo método diseñado para manejar los tipos de datos utilizados para las predicciones espaciales.
En experimentos con datos reales y simulados, su nuevo método proporcionó validaciones más precisas que las dos técnicas más comunes. Los investigadores evaluaron cada método utilizando problemas espaciales realistas, incluida la predicción de la velocidad del viento en el aeropuerto O-Hare de Chicago y pronosticando la temperatura del aire en cinco ubicaciones de Metro US.
Su método de validación podría aplicarse a una variedad de problemas, desde ayudar a los científicos climáticos a predecir las temperaturas de la superficie del mar hasta ayudar a los epidemiólogos a estimar los efectos de la contaminación del aire en ciertas enfermedades.
«Con suerte, esto conducirá a evaluaciones más confiables cuando las personas presenten nuevos métodos predictivos y una mejor comprensión de qué tan bien están funcionando los métodos», dice Tamara Broderick, profesora asociada en el Departamento de Ingeniería Eléctrica e Informática del MIT (EECS) , miembro del Laboratorio de Sistemas de Información y Decisión y del Instituto de Datos, Sistemas y Sociedad, y un afiliado del Laboratorio de Informática e Inteligencia Artificial (CSAIL).
Broderick se une al documento por el autor principal y postdoc de MIT David R. Burt y el estudiante graduado de las CEE Yunyi Shen. La investigación se presentará en la Conferencia Internacional sobre Inteligencia Artificial y Estadísticas.
Evaluación de validaciones
El grupo de Broderick ha colaborado recientemente con oceanógrafos y científicos atmosféricos para desarrollar modelos de predicción de aprendizaje automático que puedan usarse para problemas con un componente espacial fuerte.
A través de este trabajo, notaron que los métodos de validación tradicionales pueden ser inexactos en entornos espaciales. Estos métodos mantienen una pequeña cantidad de datos de capacitación, llamados datos de validación, y los usan para evaluar la precisión del predictor.
Para encontrar la raíz del problema, realizaron un análisis exhaustivo y determinaron que los métodos tradicionales hacen suposiciones inapropiadas para los datos espaciales. Los métodos de evaluación se basan en suposiciones sobre cómo se relacionan los datos de validación y los datos que uno quiere predecir, llamados datos de prueba.
Los métodos tradicionales suponen que los datos de validación y los datos de prueba son independientes y distribuidos de manera idéntica, lo que implica que el valor de cualquier punto de datos no depende de los otros puntos de datos. Pero en una aplicación espacial, este a menudo no es el caso.
Por ejemplo, un científico puede estar utilizando datos de validación de sensores de contaminación del aire de la EPA para probar la precisión de un método que predice la contaminación del aire en las áreas de conservación. Sin embargo, los sensores de la EPA no son independientes: se ubicaron en función de la ubicación de otros sensores.
Además, quizás los datos de validación provienen de sensores de la EPA cerca de ciudades, mientras que los sitios de conservación se encuentran en las zonas rurales. Debido a que estos datos son de diferentes ubicaciones, es probable que tengan diferentes propiedades estadísticas, por lo que no se distribuyen de manera idéntica.
«Nuestros experimentos mostraron que obtienes algunas respuestas realmente incorrectas en el caso espacial cuando estos supuestos hechos por el método de validación se descomponen», dice Broderick.
Los investigadores debían encontrar una nueva suposición.
Específicamente espacial
Pensando específicamente sobre un contexto espacial, donde los datos se recopilan de diferentes ubicaciones, diseñaron un método que asume los datos de validación y los datos de prueba varían sin problemas en el espacio.
Por ejemplo, es poco probable que los niveles de contaminación del aire cambien drásticamente entre dos casas vecinas.
“Esta suposición de regularidad es apropiada para muchos procesos espaciales, y nos permite crear una forma de evaluar predictores espaciales en el dominio espacial. Hasta donde sabemos, nadie ha realizado una evaluación teórica sistemática de lo que salió mal al encontrar un mejor enfoque «, dice Broderick.
Para usar su técnica de evaluación, uno ingresaría a su predictor, las ubicaciones que desean predecir y sus datos de validación, luego automáticamente hace el resto. Al final, estima cuán preciso será el pronóstico del predictor para la ubicación en cuestión. Sin embargo, evaluar efectivamente su técnica de validación demostró ser un desafío.
“No estamos evaluando un método, sino que estamos evaluando una evaluación. Entonces, tuvimos que dar un paso atrás, pensar con cuidado y ser creativos sobre los experimentos apropiados que podríamos usar ”, explica Broderick.
Primero, diseñaron varias pruebas utilizando datos simulados, que tenían aspectos poco realistas, pero les permitieron controlar cuidadosamente los parámetros clave. Luego, crearon datos más realistas y semi-simulados modificando datos reales. Finalmente, utilizaron datos reales para varios experimentos.
Uso de tres tipos de datos de problemas realistas, como predecir el precio de un piso en Inglaterra en función de su ubicación y pronosticar la velocidad del viento, les permitió realizar una evaluación integral. En la mayoría de los experimentos, su técnica fue más precisa que cualquier método tradicional con el que lo compararon.
En el futuro, los investigadores planean aplicar estas técnicas para mejorar la cuantificación de la incertidumbre en entornos espaciales. También quieren encontrar otras áreas donde la suposición de regularidad podría mejorar el rendimiento de los predictores, como con los datos de la serie temporal.
Esta investigación es financiada, en parte, por la National Science Foundation y la Oficina de Investigación Naval.
