El clásico dicho de la informática “entra basura, sale basura” carece de matices cuando se trata de comprender datos médicos sesgados, sostienen profesores de informática y bioética del MIT, la Universidad Johns Hopkins y el Instituto Alan Turing en un nuevo artículo de opinión publicado en un reciente edición de la Revista de Medicina de Nueva Inglaterra (NEJM). La creciente popularidad de la inteligencia artificial ha generado un mayor escrutinio sobre la cuestión de los modelos de IA sesgados que resultan en discriminación algorítmica, que la Oficina de Ciencia y Tecnología de la Casa Blanca identificó como una cuestión clave en su reciente Plan para una Declaración de Derechos de la IA.
Cuando se encuentran datos sesgados, particularmente para los modelos de IA utilizados en entornos médicos, la respuesta típica es recopilar más datos de grupos subrepresentados o generar datos sintéticos que compensen las partes faltantes para garantizar que el modelo funcione igualmente bien en una variedad de poblaciones de pacientes. Pero los autores sostienen que este enfoque técnico debería complementarse con una perspectiva sociotécnica que tenga en cuenta factores sociales tanto históricos como actuales. Al hacerlo, los investigadores pueden ser más eficaces a la hora de abordar los sesgos en la salud pública.
«Los tres habíamos estado discutiendo las formas en que a menudo tratamos los problemas con los datos desde una perspectiva de aprendizaje automático como irritaciones que deben gestionarse con una solución técnica», recuerda el coautor Marzyeh Ghassemi, profesor asistente de ingeniería eléctrica y informática y afiliado de la Clínica Abdul Latif Jameel para el Aprendizaje Automático en la Salud (Clínica Jameel), el Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) y el Instituto de Ciencias e Ingeniería Médica (IMES). “Habíamos utilizado analogías de datos como un artefacto que brinda una visión parcial de prácticas pasadas, o un espejo roto que sostiene un reflejo. En ambos casos, la información tal vez no sea del todo precisa o favorable: tal vez pensemos que nos comportamos de cierta manera como sociedad, pero cuando realmente nos fijamos en los datos, cuentan una historia diferente. Puede que no nos guste cuál es esa historia, pero una vez que se descubre una comprensión del pasado se puede avanzar y tomar medidas para abordar las malas prácticas”.
Datos como artefacto
En el artículo, titulado “Considering Biased Data as Informative Artifacts in AI-Assisted Health Care”, Ghassemi, Kadija Ferryman y Maxine Mackintosh defienden ver los datos clínicos sesgados como “artefactos” de la misma manera que los antropólogos o arqueólogos verían los datos físicos. objetos: piezas de prácticas, sistemas de creencias y valores culturales que revelan la civilización; en el caso del artículo, específicamente aquellos que han llevado a las desigualdades existentes en el sistema de atención médica.
Por ejemplo, un estudio de 2019 mostró que un algoritmo ampliamente considerado como un estándar de la industria utilizó los gastos de atención médica como indicador de necesidad, lo que llevó a la conclusión errónea de que los pacientes negros más enfermos requieren el mismo nivel de atención que los pacientes blancos más sanos. Lo que encontraron los investigadores fue una discriminación algorítmica que no tenía en cuenta el acceso desigual a la atención.
En este caso, en lugar de ver los conjuntos de datos sesgados o la falta de datos como problemas que sólo requieren eliminación o solución, Ghassemi y sus colegas recomiendan el enfoque de los «artefactos» como una forma de crear conciencia sobre los elementos sociales e históricos que influyen en la forma en que se recopilan los datos y las alternativas. enfoques para el desarrollo clínico de la IA.
«Si el objetivo de su modelo es implementarlo en un entorno clínico, debe contratar a un bioético o un médico con la capacitación adecuada desde una fase razonablemente temprana en la formulación del problema», dice Ghassemi. “Como científicos informáticos, a menudo no tenemos una imagen completa de los diferentes factores sociales e históricos que intervienen en la creación de los datos que utilizaremos. Necesitamos experiencia para discernir cuándo los modelos generalizados a partir de datos existentes pueden no funcionar bien para subgrupos específicos”.
Cuando más datos pueden realmente perjudicar el rendimiento
Los autores reconocen que uno de los aspectos más desafiantes de implementar un enfoque basado en artefactos es poder evaluar si los datos han sido corregidos racialmente: es decir, utilizando cuerpos masculinos blancos como estándar convencional con el que se miden otros cuerpos. El artículo de opinión cita un ejemplo de Chronic Kidney Disease Collaboration en 2021, que desarrolló una nueva ecuación para medir la función renal porque la antigua ecuación había sido “corregida” previamente bajo el supuesto general de que los negros tienen mayor masa muscular. Ghassemi dice que los investigadores deberían estar preparados para investigar la corrección basada en la raza como parte del proceso de investigación.
En otro artículo reciente aceptado en la Conferencia Internacional sobre Aprendizaje Automático de este año, del que son coautores el estudiante de doctorado de Ghassemi, Vinith Suriyakumar, y el profesor asistente Berk Ustun de la Universidad de California en San Diego, los investigadores descubrieron que asumir la inclusión de atributos personalizados como la raza autoinformada mejora En realidad, el rendimiento de los modelos de ML puede conducir a peores puntuaciones, modelos y métricas de riesgo para las poblaciones minoritarias y minorizadas.
“No existe una solución única y correcta sobre si incluir o no la raza autoinformada en una puntuación de riesgo clínico. La raza autoinformada es una construcción social que es a la vez un sustituto de otra información y profundamente representada en otros datos médicos. La solución debe ajustarse a la evidencia”, explica Ghassemi.
como avanzar
Esto no quiere decir que los conjuntos de datos sesgados deban consagrarse, o que los algoritmos sesgados no requieran corrección: los datos de entrenamiento de calidad siguen siendo clave para desarrollar modelos clínicos de IA seguros y de alto rendimiento, y la NEJM El artículo destaca el papel de los Institutos Nacionales de Salud (NIH) en el impulso de prácticas éticas.
«Generar conjuntos de datos de alta calidad y de origen ético es crucial para permitir el uso de tecnologías de inteligencia artificial de próxima generación que transformen la forma en que hacemos investigación», afirmó el director interino de los NIH, Lawrence Tabak, en un comunicado de prensa cuando los NIH anunciaron su programa Bridge2AI de 130 millones de dólares el año pasado. . Ghassemi está de acuerdo y señala que los NIH han “priorizado la recopilación de datos de manera ética que cubre información cuyo valor para la salud humana no habíamos enfatizado anteriormente, como los factores ambientales y los determinantes sociales. Estoy muy entusiasmado con su priorización y sus fuertes inversiones para lograr resultados de salud significativos”.
Elaine Nsoesie, profesora asociada de la Universidad de Salud Pública de Boston, cree que tratar conjuntos de datos sesgados como artefactos en lugar de basura tiene muchos beneficios potenciales, empezando por centrarse en el contexto. «Los sesgos presentes en un conjunto de datos recopilados para pacientes con cáncer de pulmón en un hospital de Uganda podrían ser diferentes de un conjunto de datos recopilados en EE. UU. para la misma población de pacientes», explica. «Al considerar el contexto local, podemos entrenar algoritmos para atender mejor a poblaciones específicas». Nsoesie dice que comprender los factores históricos y contemporáneos que dan forma a un conjunto de datos puede hacer que sea más fácil identificar prácticas discriminatorias que podrían estar codificadas en algoritmos o sistemas de maneras que no son inmediatamente obvias. También señala que un enfoque basado en artefactos podría conducir al desarrollo de nuevas políticas y estructuras que garanticen que se eliminen las causas fundamentales del sesgo en un conjunto de datos en particular.
“La gente me dice a menudo que le tiene mucho miedo a la IA, especialmente en el ámbito de la salud. Dirán: ‘Tengo mucho miedo de que una IA me diagnostique mal’ o ‘Me preocupa que me trate mal’”, dice Ghassemi. “Les digo que no deberían tener miedo de una hipotética IA en la salud mañana, deberían tener miedo de lo que es la salud ahora. Si adoptamos una visión técnica limitada de los datos que extraemos de los sistemas, podríamos replicar ingenuamente malas prácticas. Esa no es la única opción: darnos cuenta de que hay un problema es nuestro primer paso hacia una oportunidad mayor”.
