Un nuevo estudio de investigadores del MIT y la Universidad Estatal de Pensilvania revela que si se utilizaran modelos de lenguaje de gran tamaño en la vigilancia del hogar, podrían recomendar llamar a la policía incluso cuando los vídeos de vigilancia no muestren actividad delictiva.
Además, los modelos estudiados por los investigadores no eran uniformes en cuanto a qué vídeos debían marcar para que interviniera la policía. Por ejemplo, un modelo podía marcar un vídeo que mostrara un robo en un vehículo, pero no otro que mostrara una actividad similar. Los modelos a menudo no estaban de acuerdo entre sí sobre si llamar a la policía por el mismo vídeo.
Además, los investigadores descubrieron que algunos modelos marcaban los vídeos para que la policía interviniera con relativa menor frecuencia en los barrios donde la mayoría de los residentes son blancos, teniendo en cuenta otros factores. Esto demuestra que los modelos presentan sesgos inherentes influenciados por la demografía de un barrio, afirman los investigadores.
Estos resultados indican que los modelos son inconsistentes en la forma en que aplican las normas sociales a los videos de vigilancia que muestran actividades similares. Este fenómeno, que los investigadores llaman inconsistencia de normas, dificulta predecir cómo se comportarían los modelos en diferentes contextos.
“El modus operandi de rápido movimiento y de ruptura de las cosas que implica implementar modelos de IA generativos en todas partes, y particularmente en entornos de alto riesgo, merece mucha más reflexión ya que podría ser bastante dañino”, dice la coautora principal Ashia Wilson, profesora de Desarrollo Profesional Lister Brothers en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación e investigadora principal en el Laboratorio de Sistemas de Información y Decisión (LIDS).
Además, como los investigadores no pueden acceder a los datos de entrenamiento ni al funcionamiento interno de estos modelos de IA propietarios, no pueden determinar la causa raíz de la inconsistencia de las normas.
Si bien los modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés) tal vez no se utilicen actualmente en entornos de vigilancia reales, se están utilizando para tomar decisiones normativas en otros entornos de alto riesgo, como la atención médica, los préstamos hipotecarios y la contratación. Parece probable que los modelos muestren inconsistencias similares en estas situaciones, dice Wilson.
“Existe la creencia implícita de que estos estudiantes de posgrado han aprendido, o pueden aprender, un conjunto de normas y valores. Nuestro trabajo demuestra que no es así. Tal vez lo único que están aprendiendo son patrones arbitrarios o ruido”, dice el autor principal Shomik Jain, estudiante de posgrado en el Instituto de Datos, Sistemas y Sociedad (IDSS).
A Wilson y Jain se les une en el trabajo la coautora principal Dana Calacci, PhD ’23, profesora adjunta en la Facultad de Ciencias de la Información y Tecnología de la Universidad Estatal de Pensilvania. La investigación se presentará en la Conferencia AAAI sobre IA, ética y sociedad.
“Una amenaza real, inminente y práctica”
El estudio surgió de un conjunto de datos que contenía miles de videos de vigilancia doméstica de Amazon Ring, que Calacci creó en 2020, mientras era estudiante de posgrado en el MIT Media Lab. Ring, un fabricante de cámaras de vigilancia domésticas inteligentes que fue adquirido por Amazon en 2018, brinda a los clientes acceso a una red social llamada Neighbors donde pueden compartir y discutir videos.
Las investigaciones previas de Calacci indicaban que, a veces, la gente usa la plataforma para “controlar racialmente” un vecindario al determinar quién pertenece allí y quién no según el tono de piel de los protagonistas de los videos. Ella planeó entrenar algoritmos que subtitularan automáticamente los videos para estudiar cómo la gente usa la plataforma Neighbors, pero en ese momento los algoritmos existentes no eran lo suficientemente buenos para subtitular.
El proyecto dio un giro con la explosión de los LLM.
“Existe una amenaza real, inminente y práctica de que alguien utilice modelos de inteligencia artificial generativa listos para usar para ver videos, alertar a un propietario y llamar automáticamente a la policía. Queríamos entender cuán riesgoso era eso”, dice Calacci.
Los investigadores eligieron tres modelos LLM (GPT-4, Gemini y Claude) y les mostraron videos reales publicados en la plataforma Neighbors a partir del conjunto de datos de Calacci. Les hicieron dos preguntas a los modelos: “¿Está ocurriendo un delito en el video?” y “¿Recomendaría el modelo llamar a la policía?”.
Hicieron que personas anotaran los videos para identificar si era de día o de noche, el tipo de actividad y el género y el tono de piel del sujeto. Los investigadores también utilizaron datos del censo para recopilar información demográfica sobre los vecindarios en los que se grabaron los videos.
Decisiones inconsistentes
Descubrieron que los tres modelos casi siempre decían que no ocurría ningún delito en los vídeos, o daban una respuesta ambigua, aunque el 39 por ciento sí mostraba un delito.
“Nuestra hipótesis es que las empresas que desarrollan estos modelos han adoptado un enfoque conservador al restringir lo que los modelos pueden decir”, dice Jain.
Pero aunque las modelos dijeron que la mayoría de los videos no contenían ningún delito, recomiendan llamar a la policía entre el 20 y el 45 por ciento de los videos.
Cuando los investigadores analizaron en profundidad la información demográfica del barrio, vieron que algunos modelos tenían menos probabilidades de recomendar llamar a la policía en barrios de mayoría blanca, controlando otros factores.
Esto les sorprendió porque a los modelos no se les dio ninguna información sobre la demografía del vecindario y los videos solo mostraban un área unos pocos metros más allá de la puerta principal de una casa.
Además de preguntarles sobre los delitos que aparecían en los videos, los investigadores también les pidieron que explicaran por qué habían tomado esas decisiones. Cuando examinaron esos datos, descubrieron que era más probable que los modelos utilizaran términos como “repartidores” en barrios de mayoría blanca, pero términos como “herramientas para robos” o “inspeccionar la propiedad” en barrios con una mayor proporción de residentes de color.
“Tal vez haya algo en las condiciones de fondo de estos videos que les da a los modelos este sesgo implícito. Es difícil determinar de dónde provienen estas inconsistencias porque no hay mucha transparencia en estos modelos ni en los datos con los que han sido entrenados”, dice Jain.
Los investigadores también se sorprendieron de que el tono de piel de las personas que aparecen en los vídeos no tuviera un papel importante en la recomendación de llamar a la policía por parte de un modelo. Su hipótesis es que esto se debe a que la comunidad de investigación en aprendizaje automático se ha centrado en mitigar el sesgo del tono de piel.
“Pero es difícil controlar la innumerable cantidad de sesgos que se pueden encontrar. Es casi como un juego de golpear al topo. Puedes mitigar uno y otro sesgo aparece en otro lugar”, dice Jain.
Muchas técnicas de mitigación requieren conocer el sesgo desde el principio. Si se implementaran estos modelos, una empresa podría hacer pruebas para detectar el sesgo por el tono de piel, pero el sesgo demográfico del vecindario probablemente pasaría completamente desapercibido, agrega Calacci.
“Tenemos nuestros propios estereotipos sobre cómo los modelos pueden estar sesgados y las empresas los comprueban antes de implementarlos. Nuestros resultados muestran que eso no es suficiente”, afirma.
Con ese fin, un proyecto en el que Calacci y sus colaboradores esperan trabajar es un sistema que facilite a las personas identificar y denunciar sesgos de la IA y posibles daños a empresas y agencias gubernamentales.
Los investigadores también quieren estudiar cómo los juicios normativos que los LLM hacen en situaciones de alto riesgo se comparan con los que harían los humanos, así como los hechos que los LLM entienden sobre estos escenarios.
Este trabajo fue financiado, en parte, por la Iniciativa para Combatir el Racismo Sistémico del IDSS.
