Naba Banerjee, Airbnb
Fuente: Prashant Joshi | Airbnb
Naba Banerjee es un orgulloso aguafiestas.
Como persona a cargo de la prohibición mundial de fiestas de Airbnb, ha pasado más de tres años descubriendo cómo combatir la «colusión» de los usuarios en las fiestas, señalar las «casas de fiestas repetidas» y, sobre todo, diseñar un sistema de inteligencia artificial antipartidos con suficientes datos de entrenamiento para detener las reservas de alto riesgo incluso antes de que el infractor llegue a la página de pago.
Ha sido un poco como un juego de golpear al topo: cada vez que los algoritmos de Banerjee señalan algunas preocupaciones, surgen otras nuevas.
Airbnb define una fiesta como una reunión que ocurre en un anuncio de Airbnb y «causa una perturbación significativa a los vecinos y la comunidad circundante», según un representante de la compañía. Para determinar las infracciones, la compañía considera si la reunión es de invitación abierta y si involucra ruido excesivo, basura, visitantes, problemas de estacionamiento para los vecinos y otros factores.
Banerjee se unió al equipo de confianza y seguridad de la empresa en mayo de 2020 y ahora dirige ese grupo. En su corto tiempo en la compañía, supervisó la prohibición de reservas de alto riesgo por parte de usuarios menores de 25 años, un programa piloto para IA antipartidista en Australia, defensas reforzadas durante los fines de semana festivos, una póliza de seguro para anfitriones valorada en millones de dólares y este verano, un lanzamiento global del sistema de control de reservas de Airbnb.
Algunas medidas han funcionado mejor que otras, pero la compañía dice que los informes de fiestas cayeron un 55% entre agosto de 2020 y agosto de 2022, y desde el lanzamiento mundial del sistema de Banerjee en mayo, más de 320.000 huéspedes han sido bloqueados o redirigidos de intentos de reserva en Airbnb.
En general, el negocio de la empresa se está fortaleciendo a medida que el auge de los viajes pospandemia comienza a desvanecerse. El mes pasado, la compañía informó ganancias que superaron las expectativas de los analistas en cuanto a ganancias por acción e ingresos, y estos últimos crecieron un 18% año tras año, a pesar de un número menor de noches y experiencias reservadas a través de la plataforma.
Convertir el radar de fiestas de los padres en un algoritmo
Airbnb dice que la pandemia y los temores de los anfitriones a los daños a la propiedad son los principales impulsores de su campaña antipartidista, pero también ha habido incidentes más oscuros.
Una fiesta de Halloween en un Airbnb en 2019 dejó cinco muertos. Este año, entre los fines de semana del Día de los Caídos y del Día del Trabajo, al menos cinco personas murieron en fiestas organizadas en Airbnbs. En junio, la empresa fue demandada por una familia que perdió a su hijo de 18 años en un tiroteo en una fiesta de Airbnb en 2021.
Cuando Banerjee se unió por primera vez al equipo de confianza de Airbnb en el verano de 2020, recuerda que la gente a su alrededor le preguntaba: «¿Cómo se resuelve este problema?». El flujo de preguntas, de personas por encima y por debajo de ella en la escala corporativa, contribuyó a su ansiedad. El problema de las fiestas de Airbnb era complejo y, en cierto modo, no sabía por dónde empezar.
Como madre de cinco hijos, Banerjee sabe cómo detectar una juerga secreta.
El verano pasado, la hija de 17 años de Banerjee tenía una amiga que quería organizar una fiesta de cumpleaños número 18 y estaba pensando en reservar un Airbnb para hacerlo. Banerjee recuerda que su hija le contó sobre el plan y le preguntó si debería decirle a su amiga que no reservara un Airbnb debido a las salvaguardias de la IA. La amiga acabó haciendo la fiesta en su propia casa.
«Al ser madre de adolescentes y ver a los amigos adolescentes de mis hijos, tu antena es especialmente aguda y tienes un radar para decir: ‘Dios mío, está bien, esta es una fiesta a punto de suceder'», dijo Banerjee. «Entre nuestros científicos de datos, nuestros ingenieros de aprendizaje automático y nosotros, comenzamos a observar estas señales».
Para Banerjee, se trataba de traducir esa antena en un algoritmo utilizable.
En una reunión de abril de 2020 con Nate Blecharczyk, cofundador y director de estrategia de la compañía, Banerjee recuerda haber elaborado estrategias sobre formas de solucionar el problema de las fiestas de Airbnb en tres escalas de tiempo diferentes: «ahora mismo», dentro de un año y en el futuro general.
Para la escala del «ahora mismo», hablaron de observar los datos de la plataforma, estudiar los patrones y señales de los informes actuales del partido y ver cómo se alinean esas piezas del rompecabezas.
El primer paso, en julio de 2020, fue implementar la prohibición de reservas de alto riesgo por parte de usuarios menores de 25 años, especialmente aquellos que no tenían mucho historial en la plataforma o que no tenían buenas críticas de los anfitriones. Aunque Airbnb dice que esa medida bloqueó o redirigió a «miles» de huéspedes en todo el mundo, Banerjee aún vio a usuarios tratando de eludir la prohibición haciendo que un amigo mayor o un familiar les reservara la reserva. Dos meses después, Airbnb anunció una «prohibición global de fiestas», pero eso fue más que nada de labios para afuera, al menos hasta que tuvieran la tecnología para respaldarlo.
Casi al mismo tiempo, Banerjee envió una serie de invitaciones. En lugar de asistir a una fiesta, fueron invitados a asistir a talleres de reducción de riesgos de fiestas, enviados a diseñadores de Airbnb, científicos de datos, ingenieros de aprendizaje automático y miembros de los equipos de operaciones y comunicaciones. En las reuniones de Zoom, analizaron los resultados de la prohibición de reservas para huéspedes menores de 25 años y comenzaron a poner en marcha otros planes: el equipo de Banerjee creó una línea de seguridad 24 horas al día, 7 días a la semana para los anfitriones, implementó una línea de asistencia vecinal y dotó de personal a la llamada de atención al cliente. centro.
Sin embargo, uno de los cambios más importantes fue eliminar la opción para que los anfitriones incluyan su casa como disponible para reuniones de más de 16 personas.
Ahora que tenían una cantidad significativa de datos sobre cómo podrían actuar los posibles fiesteros, el equipo de Banerjee tenía un nuevo objetivo: construir el equivalente en IA de un vecino que controla la casa cuando los padres del estudiante de secundaria los dejan solos en casa durante el fin de semana.
Alrededor de enero de 2021, Banerjee recordó haber escuchado en las oficinas de Airbnb en Australia que se avecinaban fiestas disruptivas en Airbnbs, al igual que en América del Norte, ya que los viajes se habían paralizado relativamente y Covid estaba en pleno apogeo. Banerjee consideró implementar la prohibición para menores de 25 años en Australia, pero después de conversar con Blecharczyk, decidió experimentar con un modelo de aprendizaje automático para prohibir partidos.
Pero Banerjee estaba nervioso. Poco después, llamó a su padre en Calcuta, India; para ella eran entre las 10 y las 11 de la noche, lo que para él era media mañana. Ella es la primera ingeniera de su familia, dijo, y su padre es uno de sus mayores apoyos; él suele ser la persona a la que llama durante los momentos más difíciles de su vida.
«Recuerdo haber hablado con él y decirle: ‘Estoy muy asustado, siento que estoy a punto de hacer una de las cosas más importantes de mi carrera, pero todavía no sé si vamos a lograrlo’. tener éxito'», dijo Banerjee. «‘Tenemos la pandemia en curso, el negocio está sufriendo… Tenemos algo que creemos que va a ser fantástico, pero aún no lo sabemos. Estoy al borde de la incertidumbre, y eso simplemente hace que Estoy muy nervioso.»
Banerjee recordó que su padre le dijo que esto le había sucedido antes y que volvería a tener éxito. Él estaría más preocupado, le dijo, si ella tuviera demasiado confianza.
En octubre de 2021, el equipo de Banerjee lanzó el programa piloto para la IA de detección de reservas en Australia. La compañía vio una caída del 35% en los partidos entre las regiones del país que tenían el programa frente a las que no. El equipo pasó meses analizando los resultados y actualizó el sistema con más datos, así como incidentes de seguridad y daños a la propiedad y registros de colusión de usuarios.
Cómo funciona el sistema de IA para frenar las fiestas
Anuncios en Airbnb
Fuente: Airbnb
Imagina que tienes 21 años y estás planeando una fiesta de Halloween en tu ciudad natal. Tu plan: reservar una casa en Airbnb por una noche, enviar mensajes de texto «BYOB» y tratar de evitar publicar subtítulos clichés en Instagram.
Solo hay un problema: el sistema de inteligencia artificial de Airbnb trabaja en tu contra desde el momento en que inicias sesión.
El algoritmo de prohibición de fiestas analiza cientos de factores, incluida la proximidad de la reserva al cumpleaños del usuario, la edad del usuario, la duración de la estancia, la proximidad del anuncio al lugar donde se encuentra el usuario, con cuánta antelación se realiza la reserva, fin de semana o .día laborable, el tipo de anuncio y si el anuncio se encuentra en una zona muy concurrida en lugar de en una zona rural.
El aprendizaje profundo es un subconjunto del aprendizaje automático que utiliza redes neuronales, es decir, los sistemas procesan información de una manera inspirada en el cerebro humano. Ciertamente, los sistemas no son funcionalmente comparables al cerebro humano, pero siguen el patrón de aprendizaje con el ejemplo. En el caso de Airbnb, un modelo se centra específicamente en el riesgo de las fiestas, mientras que otro se centra en los daños a la propiedad, por ejemplo.
«Cuando empezamos a analizar los datos, descubrimos que, en la mayoría de los casos, notábamos que se trataba de reservas realizadas en el último minuto, potencialmente mediante una cuenta de huésped que se creó en el último minuto y luego se realizó una reserva. para un potencial fin de semana de fiesta como Nochevieja o Halloween, y reservarían una casa entera tal vez para una noche», dijo Banerjee a CNBC. «Y si nos fijamos en el lugar donde realmente vivía el huésped, en realidad estaba muy cerca del lugar donde se reservaba el alojamiento».
Después de que los modelos hacen su análisis, el sistema asigna a cada reserva un riesgo de fiesta. Dependiendo de la tolerancia al riesgo que Airbnb haya asignado para ese país o zona, la reserva será prohibida o se le dará luz verde. El equipo también introdujo «defensas de fiesta intensificadas» para los fines de semana festivos como el 4 de julio, Halloween y la víspera de Año Nuevo.
El sistema de control de reservas de Airbnb en acción.
Fuente: Airbnb
En algunos casos, como cuando la decisión correcta no está del todo clara, las solicitudes de reserva se marcan para revisión humana y esos agentes humanos pueden mirar el hilo de mensajes para evaluar el riesgo de la parte. Pero la compañía también está «comenzando a invertir enormemente» en grandes modelos de lenguaje, o LLM, para la comprensión de contenidos, para ayudar a comprender los incidentes de partidos y el fraude, dijo Banerjee.
«La tendencia LLM es algo que si no estás en ese tren, es como perderte Internet», dijo Banerjee a CNBC.
Banerjee dijo que su equipo ha observado un mayor riesgo en los partidos en Estados Unidos y Canadá, y que los siguientes en mayor riesgo probablemente serían Australia y ciertos países europeos. En Asia, las reservas parecen ser considerablemente menos riesgosas.
Los algoritmos se entrenan en parte con tickets etiquetados como fiestas o daños a la propiedad, así como con incidentes hipotéticos y pasados que ocurrieron antes de que el sistema entrara en funcionamiento para ver si los habría marcado. También están capacitados sobre cómo es el «buen» comportamiento de los huéspedes, como alguien que llega y sale a tiempo, deja una reseña a tiempo y no tiene incidentes en la plataforma.
Pero como muchas formas de datos de entrenamiento de IA, la idea de «buenos» invitados está propensa a sesgos. Airbnb ha introducido experimentos antidiscriminatorios en el pasado, como ocultar las fotos de los huéspedes, impedir que los anfitriones vean el nombre completo de un huésped antes de que se confirme la reserva e introducir una herramienta de Precios Inteligentes para ayudar a abordar las disparidades de ingresos, aunque esto último terminó sin darse cuenta. ampliando la brecha.
Airbnb dijo que su IA de selección de reservas ha sido evaluada por el equipo antidiscriminación de la compañía y que la compañía a menudo prueba el sistema en áreas como precisión y recuperación.
Globalizarse
Hace casi exactamente un año, Banerjee estaba en un vivero con su marido y su suegra cuando recibió una llamada del director ejecutivo de Airbnb, Brian Chesky.
Ella pensó que él la llamaría para conocer los resultados del programa piloto de Australia, pero en lugar de eso, le preguntó sobre la confianza en la plataforma. Dada toda la charla que habló sobre modelos y funciones de aprendizaje automático, recordó que él le preguntó: ¿se sentiría segura enviando a uno de sus hijos que iría a la universidad a quedarse en un Airbnb? Y si no, ¿qué la haría sentir segura?
Esa llamada telefónica finalmente resultó en la decisión de expandir la IA de detección de reservas del equipo de Banerjee en todo el mundo la primavera siguiente.
Las cosas se pusieron en marcha con anuncios de televisión para Banerjee, algunos de los cuales vio en la televisión del gimnasio entre dominadas. Le pidió consejo a su hija sobre qué ponerse.
Lo siguiente que supo fue que el equipo se estaba preparando para una demostración en vivo de la IA de proyección de reservas con Chesky. Banerjee estaba nervioso.
El equipo se sentó con Chesky después de trabajar con ingenieros de front-end para crear un riesgo de fiesta falso, mostrando a alguien reservando una mansión entera durante un fin de semana festivo en el último minuto y viendo si el modo Lo marcaría en tiempo real. Funcionó.
El único comentario de Chesky, recordó Banerjee, fue cambiar el mensaje existente – «Su reserva no se puede completar en este momento porque detectamos un riesgo de fiesta» – para que fuera más amigable para el cliente, ofreciendo potencialmente una opción para apelar o reservar una fiesta diferente. fin de semana. Siguieron su consejo. Ahora, el mensaje dice: «Los detalles de esta reserva indican que podría dar lugar a una fiesta no autorizada en la casa. Aún tienes la opción de reservar un hotel o una habitación privada, o puedes contactarnos si tienes alguna pregunta».
Banerjee recuerda un frenesí de actividad durante los siguientes meses, pero también se sintió tranquilo y confiado. Visitó a su familia en la India en abril. Le contó a su padre sobre el entusiasmo por el lanzamiento, que se produjo en tandas el mes siguiente.
Durante el fin de semana del Día del Trabajo, Banerjee estaba visitando a su hijo en Texas cuando el algoritmo bloqueó o redirigió 5.000 posibles reservas para fiestas.
Pero no importa qué tan rápido aprendan los modelos de IA, Banerjee y su equipo necesitarán continuar monitoreando y cambiando los sistemas a medida que los usuarios partidarios de los partidos encuentren formas de sortear las barreras.
«Lo interesante del mundo de la confianza y la seguridad es que nunca permanece estático», afirmó Banerjee. «Tan pronto como construyes una defensa, algunos de estos malos actores que potencialmente están tratando de oponerse al sistema y organizar una fiesta, se volverán más inteligentes e intentarán hacer algo diferente».
