¿Cuál es la probabilidad de morir en un accidente aéreo? Según un informe de 2022 publicado por la Asociación Internacional de Transporte Aéreo, el riesgo de muerte en la industria es del 0,11. En otras palabras, en promedio, una persona necesitaría tomar un vuelo todos los días durante 25.214 años para tener un 100 por ciento de posibilidades de sufrir un accidente fatal. Considerada durante mucho tiempo como uno de los modos de transporte más seguros, la industria de la aviación altamente regulada hace que los científicos del MIT piensen que puede ser la clave para regular la inteligencia artificial en la atención médica.
Marzyeh Ghassemi, profesora asistente en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS) del MIT y en el Instituto de Ciencias de la Ingeniería Médica, y Julie Shah, profesora HN Slater de Aeronáutica y Astronáutica en el MIT, comparten el interés por los desafíos de la transparencia en Modelos de IA. Después de conversar a principios de 2023, se dieron cuenta de que la aviación podría servir como modelo para garantizar que los pacientes marginados no se vean perjudicados por modelos de IA sesgados.
Ghassemi, quien también es investigador principal de la Clínica Abdul Latif Jameel del MIT para el Aprendizaje Automático en Salud (Clínica Jameel) y del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL), y Shah reclutaron luego un equipo interdisciplinario de investigadores, abogados, y analistas de políticas del MIT, la Universidad de Stanford, la Federación de Científicos Estadounidenses, la Universidad Emory, la Universidad de Adelaida, Microsoft y la Universidad de California en San Francisco para iniciar un proyecto de investigación, cuyos resultados fueron aceptados recientemente en Equity and Access. en Jornada de Algoritmos, Mecanismos y Optimización.
«Creo que muchos de nuestros coautores están entusiasmados con el potencial de la IA para generar impactos sociales positivos, especialmente con los avances recientes», dice la primera autora Elizabeth Bondi-Kelly, ahora profesora asistente de EECS en la Universidad de Michigan, quien fue postdoctorada en el laboratorio de Ghassemi cuando El proyecto comenzó. «Pero también somos cautelosos y esperamos desarrollar marcos para gestionar los riesgos potenciales a medida que comiencen las implementaciones, por lo que buscábamos inspiración para dichos marcos».
La IA en la salud actual se parece a lo que era la industria de la aviación hace un siglo, dice la coautora Lindsay Sanneman, estudiante de doctorado en el Departamento de Aeronáutica y Astronáutica del MIT. Aunque la década de 1920 fue conocida como “la Edad de Oro de la Aviación”, los accidentes fatales fueron “inquietantemente numerosos”, según el Centro Mackinac de Políticas Públicas.
Jeff Marcus, actual jefe de la División de Recomendaciones de Seguridad de la Junta Nacional de Seguridad en el Transporte (NTSB), publicó recientemente una publicación en el blog del Mes Nacional de la Aviación y señaló que, si bien en la década de 1920 ocurrieron varios accidentes fatales, 1929 sigue siendo el “peor año registrado” para los accidentes de aviación más mortales de la historia, con 51 accidentes reportados. Según los estándares actuales, eso sería 7.000 accidentes por año, o 20 por día. En respuesta al elevado número de accidentes mortales ocurridos en la década de 1920, el presidente Calvin Coolidge aprobó en 1926 una legislación histórica conocida como Ley de Comercio Aéreo, que regularía los viajes aéreos a través del Departamento de Comercio.
Pero los paralelos no terminan ahí: el camino posterior de la aviación hacia la automatización es similar al de la IA. La explicabilidad de la IA ha sido un tema polémico dado el notorio problema de la «caja negra» de la IA, que hace que los investigadores de IA debatan hasta qué punto un modelo de IA debe «explicar» su resultado al usuario antes de inducirlo a seguir ciegamente la guía del modelo.
«En la década de 1970 hubo una cantidad cada vez mayor de automatización… sistemas de piloto automático que se encargan de advertir a los pilotos sobre los riesgos», añade Sanneman. «Hubo algunos problemas crecientes a medida que la automatización ingresó al espacio de la aviación en términos de interacción humana con el sistema autónomo; una posible confusión que surge cuando el piloto no tiene una conciencia clara de lo que está haciendo la automatización».
Hoy en día, convertirse en capitán de una aerolínea comercial requiere 1.500 horas de vuelo registradas junto con capacitación en instrumentos. Según el artículo de los investigadores, este proceso riguroso e integral lleva aproximadamente 15 años, incluida una licenciatura y el copiloto. Los investigadores creen que el éxito de una formación piloto exhaustiva podría ser un modelo potencial para formar a los médicos en el uso de herramientas de IA en entornos clínicos.
El documento también propone alentar los informes sobre herramientas de IA para la salud inseguras, tal como lo hace la Agencia Federal de Aviación (FAA) con los pilotos, a través de una “inmunidad limitada”, que permite a los pilotos conservar su licencia después de hacer algo inseguro, siempre que no sea intencional.
Según un informe de 2023 publicado por la Organización Mundial de la Salud, en promedio, uno de cada 10 pacientes resulta perjudicado por un evento adverso (es decir, “errores médicos”) mientras recibe atención hospitalaria en países de altos ingresos.
Sin embargo, en la práctica actual de la atención médica, los médicos y trabajadores de la salud a menudo temen informar errores médicos, no sólo por preocupaciones relacionadas con la culpa y la autocrítica, sino también debido a las consecuencias negativas que enfatizan el castigo de los individuos, como la revocación de una licencia médica. , en lugar de reformar el sistema que hizo que los errores médicos fueran más probables.
«En la salud, cuando el martillo falla, los pacientes sufren», escribió Ghassemi en un comentario reciente publicado en Naturaleza Comportamiento Humano. «Esta realidad presenta un riesgo ético inaceptable para las comunidades médicas de IA que ya están lidiando con problemas complejos de atención, escasez de personal y sistemas sobrecargados».
Grace Wickerson, coautora y gerente de políticas de equidad en salud de la Federación de Científicos Estadounidenses, ve este nuevo artículo como una adición fundamental a un marco de gobernanza más amplio que aún no existe. «Creo que hay mucho que podemos hacer con la autoridad gubernamental existente», dicen. «Existen diferentes formas en que Medicare y Medicaid pueden pagar la IA sanitaria que garantiza que se tenga en cuenta la equidad en sus tecnologías de compra o reembolso», afirma el NIH. [National Institute of Health] puede financiar más investigaciones para hacer que los algoritmos sean más equitativos y crear estándares para estos algoritmos que luego podrían ser utilizados por la FDA [Food and Drug Administration] mientras intentan descubrir qué significa equidad en salud y cómo están reguladas dentro de sus autoridades actuales”.
Entre otras, el documento enumera seis agencias gubernamentales principales existentes que podrían ayudar a regular la IA en salud, incluidas: la FDA, la Comisión Federal de Comercio (FTC), la recientemente creada Agencia de Proyectos de Investigación Avanzada para la Salud, la Agencia para la Investigación y la Calidad de la Atención Médica, la Centros de Medicare y Medicaid, el Departamento de Salud y Servicios Humanos y la Oficina de Derechos Civiles (OCR).
Pero Wickerson dice que es necesario hacer más. La parte más difícil de escribir el artículo, en opinión de Wickerson, fue «imaginar lo que aún no tenemos».
En lugar de depender únicamente de los organismos reguladores existentes, el documento también propone crear una autoridad de auditoría independiente, similar a la NTSB, que permita una auditoría de seguridad para los sistemas de IA de salud que funcionan mal.
«Creo que esa es la cuestión actual para la gobernanza tecnológica: realmente no hemos tenido una entidad que haya estado evaluando el impacto de la tecnología desde los años 90», añade Wickerson. «Solía haber una Oficina de Evaluación de Tecnología… incluso antes de que comenzara la era digital, esta oficina existía y luego el gobierno federal permitió que desapareciera».
Zach Harned, coautor y recién graduado de la Facultad de Derecho de Stanford, cree que un desafío principal en la tecnología emergente es lograr que el desarrollo tecnológico supere la regulación. «Sin embargo, la importancia de la tecnología de inteligencia artificial y los posibles beneficios y riesgos que plantea, especialmente en el ámbito de la atención médica, ha llevado a una oleada de esfuerzos regulatorios», dice Harned. “La FDA es claramente el actor principal en este caso, y constantemente ha publicado directrices y documentos técnicos que intentan ilustrar su posición cambiante sobre la IA; sin embargo, la privacidad será otra área importante a tener en cuenta, con la aplicación de la ley HIPAA por parte de la OCR. [Health Insurance Portability and Accountability Act] lado y la FTC haciendo cumplir las violaciones de privacidad para entidades no cubiertas por HIPAA”.
Harned señala que el área está evolucionando rápidamente, incluidos avances como la reciente Orden Ejecutiva 14110 de la Casa Blanca sobre el desarrollo seguro y confiable de la IA, así como la actividad regulatoria en la Unión Europea (UE), incluida la Ley culminante de IA de la UE que está a punto de finalizar. «Sin duda, es un momento emocionante ver cómo se desarrolla y regula esta importante tecnología para garantizar la seguridad y al mismo tiempo no sofocar la innovación», afirma.
Además de las actividades regulatorias, el documento sugiere otras oportunidades para crear incentivos para herramientas de IA sanitaria más seguras, como un programa de pago por desempeño, en el que las compañías de seguros recompensan a los hospitales por su buen desempeño (aunque los investigadores reconocen que este enfoque requeriría una supervisión adicional para ser equitativo).
Entonces, ¿cuánto tiempo creen los investigadores que llevaría crear un sistema regulador que funcione para la IA sanitaria? Según el documento, “el sistema NTSB y FAA, donde las investigaciones y la aplicación de la ley se realizan en dos órganos diferentes, fue creado por el Congreso durante décadas”.
Bondi-Kelly espera que el artículo sea una pieza del rompecabezas de la regulación de la IA. En su opinión, “el escenario soñado sería que todos leáramos el documento y nos sintiéramos inspirados para aplicar algunas de las lecciones útiles de la aviación para ayudar a la IA a prevenir algunos de sus posibles daños durante el despliegue”.
Además de Ghassemi, Shah, Bondi-Kelly y Sanneman, los coautores del trabajo del MIT incluyen al científico investigador principal Leo Anthony Celi y a los ex postdoctorados Thomas Hartvigsen y Swami Sankaranarayanan. La financiación para el trabajo provino, en parte, de una beca MIT CSAIL METEOR, Quanta Computing, la Fundación Volkswagen, los Institutos Nacionales de Salud, la Cátedra de Desarrollo Profesional Herman LF von Helmholtz y un premio CIFAR Azrieli Global Scholar.