Dibuja un garabato de un tambor o un saxofón para conjurar una composición multiinstrumental. Mire a una cámara web, hable y observe cómo su boca rebota en la pantalla: la entrada para una serie de reacciones en cadena encantadoramente torpes.
Esto es lo que encuentran los visitantes de la Biblioteca de Música Lewis del MIT cuando interactúan con dos nuevas instalaciones digitales, «Doodle Tunes» y «Sounds from the Mouth», creadas por el artista invitado del Centro de Arte y Tecnología (CAST) 2022-23 Andreas Refsgaard en colaboración con el bibliotecario de tecnología musical y medios digitales Caleb Hall. La residencia fue iniciada por Avery Boddie, jefe del departamento de la Biblioteca Musical de Lewis, quien reconoció el talento de Refsgaard para revelar el carácter lúdico de las tecnologías emergentes. Las complejidades de la codificación y el aprendizaje automático pueden parecer abrumadoras para los recién llegados, pero la práctica de Refsgaard como codificador creativo, diseñador de interacción y educador busca abrir el campo a todos. Abarcando talleres, una charla de artista, visitas a clases y una exhibición, la residencia estuvo impregnada de su sentido del humor único, una combinación de excentricidad animada y relatividad relajada.
El aprendizaje automático y las artes con el artista invitado de MIT CAST Andreas Refsgaard
Aprendiendo a través de la risa
Refsgaard, con sede en Copenhague, es un verdadero inconformista del aprendizaje automático. “Estoy interesado en las formas en que podemos expresarnos a través del código”, explica. “Me gusta hacer conexiones no convencionales entre entradas y salidas, con la computadora sirviendo como traductora: una herramienta podría permitirte reproducir música con tus ojos, o podría generar un poema de amor a partir de una foto de un burrito”. El giro particular de Refsgaard en la innovación no se trata de resolver problemas directamente o lanzar nuevas empresas que cambien el mundo. En cambio, simplemente busca «hurgar en lo que se puede hacer», proporcionando plantillas de código abierto accesibles para generar nuevas ideas y aplicaciones creativas.
Programados por Refsgaard y presentando un conjunto personalizado de sonidos creados por Hall, «Doodle Tunes» y «Sounds from the Mouth» demuestran cómo se pueden generar composiciones originales a través de una combinación de gestos humanos espontáneos y resultados producidos algorítmicamente. En «Doodle Tunes», un algoritmo de aprendizaje automático se entrena en un conjunto de datos de dibujos de diferentes instrumentos: un piano, batería, bajo o saxofón. Cuando el usuario dibuja una de estas imágenes en una pantalla táctil, se genera un sonido; cuantos más instrumentos agregue, más compleja será la composición. “Sounds from the Mouth” funciona a través de seguimiento facial e imágenes autocapturadas. Cuando el participante se enfrenta a una cámara web y abre la boca, se crea una instantánea autónoma que rebota en las notas de un piano. Para probar los proyectos usted mismo, desplácese hasta el final de este artículo.
Bibliotecas, ilimitadas
Los chirridos de saxofón y los golpes de batería digital no son los únicos sonidos que se emiten desde las áreas donde se instalan los proyectos. “Mi oficina está cerca”, dice Hall. “Entonces, cuando de repente escucho una risa, sé exactamente qué pasa”. Esta nueva dimensión sónica de Lewis Music Library encaja con el espíritu del entorno en su conjunto: diseñada como un centro de campus para la experimentación de audio, la biblioteca nunca tuvo la intención de ser completamente silenciosa. La residencia de Refsgaard ejemplifica un nuevo énfasis en la programación progresiva encabezada por Boddie, ya que la estrategia de la biblioteca cambia hacia un enfoque en las colecciones digitales y la tecnología musical.
“Además de servir como un espacio para el estudio tranquilo y el acceso a los recursos físicos, queremos que la biblioteca sea un lugar donde los usuarios se reúnan, colaboren y exploren juntos”, dice Boddie. “Esta residencia fue muy exitosa en ese sentido. A través de los talleres, pudimos conectar a personas de toda la comunidad del MIT y sus disciplinas únicas. Teníamos gente de Sloan School of Management, de Schwarzman College of Computing, de Music and Theatre Arts, todos trabajando juntos, ensuciándose, creando herramientas que a veces funcionaban… y a veces no”.
Error y serendipia
La integración del error es una cualidad clave del trabajo de Refgaard. Los fallos ocasionales son parte del arte y también sirven para socavar suavemente la exageración en torno a la IA; un algoritmo es tan bueno como su conjunto de datos, y ese conjunto está influenciado por sesgos y descuidos humanos. Durante una charla pública de artistas, «Machine Learning and the Arts», los miembros de la audiencia fueron iniciados en el paradigma artístico poco convencional de Refsgaard, presentado con proyectos como Booksby.ai (una librería en línea para novelas de ciencia ficción producidas por IA), Is it FUNKY? (un intento de distinguir entre imágenes «divertidas» y «aburridas»), y Eye Conductor (una interfaz para reproducir música a través de movimientos oculares y gestos faciales). Se admitieron con franqueza las fallas en las instalaciones de la exhibición (es cierto que “Doodle Tunes” ocasionalmente confunde un dibujo de un saxofón con una ardilla), y Refsgaard alentó a los miembros de la audiencia a sugerir posibles mejoras.
Esta actitud de mente abierta marcó el tono de los talleres “Arte, algoritmos e inteligencia artificial” y “Aprendizaje automático para diseñadores de interacción”, destinados tanto a principiantes como a expertos curiosos. Las visitas de Refsgaard a las clases de tecnología musical exploraron las formas en que la creatividad humana podría amplificarse mediante el aprendizaje automático y cómo navegar por la escala móvil entre la intención artística y los resultados inesperados. “Como yo lo veo, el éxito es cuando los participantes interactúan con el material y presentan nuevas ideas. El primer paso del aprendizaje es comprender lo que se enseña; el siguiente es aplicar esa comprensión de formas que el maestro no podría haber previsto”.
Incertidumbre y oportunidad
El trabajo de Refsgaard ejemplifica algunos de los valores fundamentales y las preguntas fundamentales para la evolución de las bibliotecas del MIT: problemas de digitalización, computación y acceso abierto. Al optar por hacer que sus demostraciones alegres sean de libre acceso, renuncia a la propiedad de sus ideas; un modelo de aprendizaje automático podría servir como un dispositivo de aprendizaje para un estudiante, y una corporación podría monetizarlo igualmente. Para Refsgaard, el juego es una forma de involucrarse con las implicaciones éticas de las tecnologías emergentes, y Hall se encontró lidiando con estas preguntas en el proceso de creación de los sonidos para las dos instalaciones. “Si yo escribí las muestras de sonido, pero alguien más las arregló como una composición, ¿quién es el dueño de la música? ¿O la IA es dueña de la música? Es un momento increíblemente interesante para trabajar en tecnología musical; estamos entrando en territorio desconocido”.
Para Refsgaard, la incertidumbre es el ingrediente secreto de su arte algorítmico. “Me gusta hacer cosas en las que me sorprende el resultado final”, dice. “Busco ese punto dulce entre algo familiar y algo inesperado”. Como él explica, demasiada sorpresa simplemente equivale a ruido, pero hay algo alegre en la posibilidad de que una máquina pueda confundir un saxofón con una ardilla. La tarea de un codificador creativo es ajustar continuamente la relación entre las capacidades humanas y de la máquina, para encontrar y seguir la música.
«Doodle Tunes» y «Sounds from the Mouth» se exhiben en la biblioteca musical Lewis del MIT (14E-109) hasta el 20 de diciembre. Haga clic en los enlaces para interactuar con los proyectos en línea.
