Cada año, miles de estudiantes toman cursos que les enseñan cómo desplegar modelos de inteligencia artificial que puedan ayudar a los médicos a diagnosticar enfermedades y determinar los tratamientos adecuados. Sin embargo, muchos de estos cursos omiten un elemento clave: capacitar a los estudiantes para detectar fallas en los datos de capacitación utilizados para desarrollar los modelos.
Leo Anthony Celi, científico de investigación senior del Instituto de Ingeniería Médica y Ciencia Médica del MIT, un médico del Beth Israel Diaconess Medical Center, y profesor asociado de la Facultad de Medicina de Harvard, ha documentado estas deficiencias en un papel nuevo y espera persuadir a los desarrolladores de cursos para que enseñen a los estudiantes a evaluar más a fondo sus datos antes de incorporarlos a sus modelos. Muchos estudios anteriores han encontrado que los modelos capacitados principalmente en datos clínicos de hombres blancos no funcionan bien cuando se aplican a personas de otros grupos. Aquí, Celi describe el impacto de tal sesgo y cómo los educadores podrían abordarlo en sus enseñanzas sobre los modelos de IA.
P: ¿Cómo entra el sesgo en estos conjuntos de datos y cómo se pueden abordar estas deficiencias?
A: Cualquier problema en los datos se horneará en cualquier modelado de los datos. En el pasado, hemos descrito instrumentos y dispositivos que no funcionan bien entre las personas. Como ejemplo, encontramos que los oximetos de pulso sobreestiman los niveles de oxígeno para las personas de color, porque no había suficientes personas de color inscritas en los ensayos clínicos de los dispositivos. Recordamos a nuestros estudiantes que los dispositivos y equipos médicos están optimizados para hombres jóvenes sanos. Nunca fueron optimizados para una mujer de 80 años con insuficiencia cardíaca y, sin embargo, la usamos para esos fines. Y la FDA no requiere que un dispositivo funcione bien en esta población diversa en la que lo usaremos. Todo lo que necesitan es una prueba de que funciona en temas saludables.
Además, el sistema de registro de salud electrónico no está en forma para usarse como bloques de construcción de IA. Esos registros no fueron diseñados para ser un sistema de aprendizaje, y por esa razón, debe tener mucho cuidado con el uso de registros de salud electrónicos. El sistema de registros de salud electrónicos se reemplazará, pero eso no sucederá pronto, por lo que debemos ser más inteligentes. Necesitamos ser más creativos sobre el uso de los datos que tenemos ahora, sin importar cuán malas sean, en la construcción de algoritmos.
Una vía prometedora que estamos explorando es el desarrollo de un modelo de transformador de datos de registros de salud electrónicos numéricos, incluidos, entre otros, los resultados de las pruebas de laboratorio. Modelando la relación subyacente entre las pruebas de laboratorio, los signos vitales y los tratamientos pueden mitigar el efecto de los datos faltantes como resultado de los determinantes sociales de la salud y los sesgos implícitos del proveedor.
P: ¿Por qué es importante que los cursos de IA cubran las fuentes de sesgo potencial? ¿Qué encontraste cuando analizaste el contenido de dichos cursos?
A: Nuestro curso en el MIT comenzó en 2016, y en algún momento nos dimos cuenta de que estábamos alentando a las personas a competir para construir modelos que están sobrefitados en alguna medida estadística del rendimiento del modelo, cuando en realidad los datos que estamos utilizando están plagados de problemas que las personas no conocen. En ese momento, nos preguntamos: ¿Qué tan común es este problema?
Nuestra sospecha era que si miraba los cursos donde el plan de estudios está disponible en línea, o los cursos en línea, que ninguno de ellos se molesta para decirles a los estudiantes que deberían ser paranoicos sobre los datos. Y bastante cierto, cuando miramos los diferentes cursos en línea, se trata de construir el modelo. ¿Cómo se construye el modelo? ¿Cómo se visualiza los datos? Descubrimos que de 11 cursos revisamos, solo cinco incluidas secciones sobre sesgo en conjuntos de datos, y solo dos contenían cualquier discusión significativa sobre el sesgo.
Dicho esto, no podemos descartar el valor de estos cursos. He escuchado muchas historias en las que las personas autoestuden en función de estos cursos en línea, pero al mismo tiempo, dados lo influyentes que son, cuán impactantes son, debemos duplicar realmente para requerirles que enseñen los habilidades adecuadas, a medida que más y más personas se sienten atraídas por este multiverso de IA. Es importante que las personas realmente se equipen con la agencia para poder trabajar con IA. Esperamos que este documento brille esta gran brecha en la forma en que enseñamos AI ahora a nuestros estudiantes.
P: ¿Qué tipo de contenido deberían incorporar los desarrolladores de cursos?
A: Uno, dándoles una lista de verificación de preguntas al principio. ¿De dónde vinieron estos datos? ¿Quiénes eran los observadores? ¿Quiénes fueron los médicos y las enfermeras que recopilaron los datos? Y luego aprende un poco sobre el paisaje de esas instituciones. Si se trata de una base de datos de la UCI, deben preguntar quién llega a la UCI y quién no llega a la UCI, porque eso ya presenta un sesgo de selección de muestreo. Si todos los pacientes minoritarios ni siquiera son ingresados en la UCI porque no pueden llegar a la UCI a tiempo, entonces los modelos no van a funcionar para ellos. En verdad, para mí, el 50 por ciento del contenido del curso realmente debería comprender los datos, si no más, porque el modelado en sí es fácil una vez que comprende los datos.
Desde 2014, el consorcio de datos críticos del MIT ha estado organizando Datathons («Hackathons» de datos) en todo el mundo. En estas reuniones, los médicos, las enfermeras, otros trabajadores de la salud y los científicos de datos se reúnen para peinar a través de bases de datos e intentan examinar la salud y las enfermedades en el contexto local. Los libros de texto y los documentos de revistas presentan enfermedades basadas en observaciones y ensayos que involucran un grupo demográfico estrecho típicamente de países con recursos para la investigación.
Nuestro objetivo principal ahora, lo que queremos enseñarles, son las habilidades de pensamiento crítico. Y el ingrediente principal para el pensamiento crítico es reunir a personas con diferentes antecedentes.
No puede enseñar pensamiento crítico en una habitación llena de CEO o en una habitación llena de médicos. El entorno simplemente no está allí. Cuando tenemos datathons, ni siquiera tenemos que enseñarles cómo se hace un pensamiento crítico. Tan pronto como traes la combinación correcta de personas, y no solo proviene de diferentes orígenes sino de diferentes generaciones, ni siquiera tienes que decirles cómo pensar críticamente. Simplemente sucede. El entorno es adecuado para ese tipo de pensamiento. Entonces, ahora les decimos a nuestros participantes y a nuestros estudiantes, por favor, por favor, no comiencen a construir ningún modelo a menos que realmente comprenda cómo surgieron los datos, qué pacientes llegaron a la base de datos, qué dispositivos se usaron para medir y son esos dispositivos consistentemente precisos entre las personas?
Cuando tenemos eventos en todo el mundo, los alentamos a buscar conjuntos de datos que sean locales, para que sean relevantes. Hay resistencia porque saben que descubrirán cuán malas son sus conjuntos de datos. Decimos que está bien. Así es como arreglas eso. Si no sabes lo malos que son, continuarás coleccionándolos de una manera muy mala y son inútiles. Tienes que reconocer que no vas a hacerlo bien la primera vez, y eso está perfectamente bien. MIMIC (la información médica marcada para la base de datos de cuidados intensivos construidos en el Centro Médico de Diaconess de Beth Israel) tomó una década antes de tener un esquema decente, y solo tenemos un esquema decente porque la gente nos decía cuán mala era Mimic.
Es posible que no tengamos las respuestas a todas estas preguntas, pero podemos evocar algo en las personas que les ayuda a darse cuenta de que hay tantos problemas en los datos. Siempre estoy encantado de ver las publicaciones de blog de personas que asistieron a un Datathon, que dicen que su mundo ha cambiado. Ahora están más entusiasmados con el campo porque se dan cuenta del inmenso potencial, pero también el inmenso riesgo de daño si no lo hacen correctamente.
