Una multitud se reunió en el MIT Media Lab en septiembre para un concierto del músico Jordan Rudess y dos colaboradores. Una de ellas, la violinista y vocalista Camilla Bäckman, ha actuado anteriormente con Rudess. El otro, un modelo de inteligencia artificial denominado informalmente jam_bot, que Rudess desarrolló con un equipo del MIT durante los meses anteriores, estaba haciendo su debut público como un trabajo en progreso.
A lo largo del espectáculo, Rudess y Bäckman intercambiaron señales y sonrisas de músicos experimentados que encuentran el ritmo juntos. Las interacciones de Rudess con el jam_bot sugirieron un tipo de intercambio diferente y desconocido. Durante un dúo inspirado en Bach, Rudess alternó entre tocar algunos compases y permitir que la IA continuara la música en un estilo barroco similar. Cada vez que la modelo tomaba su turno, una variedad de expresiones cruzaban el rostro de Rudess: desconcierto, concentración, curiosidad. Al final de la pieza, Rudess admitió ante la audiencia: «Esa es una combinación de mucha diversión y un verdadero desafío».
Rudess es un teclista aclamado, el mejor de todos los tiempos, según una encuesta de la revista Music Radar, conocido por su trabajo con la banda de metal progresivo ganadora de un Grammy y con ventas de platino, Dream Theater, que se embarca este otoño en una gira por su 40 aniversario. También es solista cuyo último álbum, “Permission to Fly”, fue lanzado el 6 de septiembre; un educador que comparte sus habilidades a través de detallados tutoriales en línea; y fundador de la empresa de software Wizdom Music. Su obra combina una base clásica rigurosa (comenzó sus estudios de piano en la Juilliard School a los 9 años) con un genio para la improvisación y un apetito por la experimentación.
La primavera pasada, Rudess se convirtió en artista visitante del Centro de Arte, Ciencia y Tecnología (CAST) del MIT, colaborando con el grupo de investigación Responsive Environments del MIT Media Lab en la creación de nueva tecnología musical impulsada por IA. Los principales colaboradores de Rudess en la empresa son los estudiantes graduados de Media Lab, Lancelot Blanchard, que investiga aplicaciones musicales de la IA generativa (informada por sus propios estudios en piano clásico), y Perry Naseck, un artista e ingeniero especializado en música interactiva, cinética, luminosa y medios basados en el tiempo. Supervisando el proyecto está el profesor Joseph Paradiso, jefe del grupo Responsive Environments y fanático de Rudess desde hace mucho tiempo. Paradiso llegó al Media Lab en 1994 con un CV en física e ingeniería y una actividad paralela diseñando y construyendo sintetizadores para explorar sus gustos musicales de vanguardia. Su grupo tiene una tradición de investigar las fronteras musicales a través de novedosas interfaces de usuario, redes de sensores y conjuntos de datos no convencionales.
Los investigadores se propusieron desarrollar un modelo de aprendizaje automático que canalizara el estilo y la técnica musical distintivos de Rudess. En un artículo publicado en línea por MIT Press en septiembre, en coautoría con el profesor de tecnología musical del MIT, Eran Egozy, articulan su visión de lo que llaman “virtuosismo simbiótico”: que humanos y computadoras hagan duetos en tiempo real, aprendiendo de cada dúo. actúan juntos y crean nueva música digna de ser interpretada frente a una audiencia en vivo.
Rudess aportó los datos con los que Blanchard entrenó el modelo de IA. Rudess también proporcionó pruebas y comentarios continuos, mientras Naseck experimentaba con formas de visualizar la tecnología para la audiencia.
«El público está acostumbrado a ver iluminación, gráficos y elementos escénicos en muchos conciertos, por lo que necesitábamos una plataforma que permitiera a la IA construir su propia relación con el público», dice Naseck. En las primeras demostraciones, esto tomó la forma de una instalación escultórica con iluminación que cambiaba cada vez que la IA cambiaba de acorde. Durante el concierto del 21 de septiembre, una rejilla de paneles en forma de pétalos montados detrás de Rudess cobró vida a través de una coreografía basada en la actividad y la futura generación del modelo de IA.
“Si ves a los músicos de jazz establecer contacto visual y asentir con la cabeza, el público anticipa lo que va a suceder”, dice Naseck. “La IA genera efectivamente partituras y luego las reproduce. ¿Cómo mostramos lo que viene a continuación y lo comunicamos?
Naseck diseñó y programó la estructura desde cero en el Media Lab con la ayuda de Brian Mayton (diseño mecánico) y Carlo Mandolini (fabricación), extrayendo algunos de sus movimientos de un modelo experimental de aprendizaje automático desarrollado por el estudiante visitante Madhav Lavakare que asigna música a puntos. moviéndose en el espacio. Con la capacidad de girar e inclinar sus pétalos a velocidades que van desde sutiles hasta dramáticas, la escultura cinética distinguió las contribuciones de la IA durante el concierto de las de los intérpretes humanos, al tiempo que transmitía la emoción y la energía de su producción: balanceándose suavemente cuando Rudess tomó el plomo, por ejemplo, o enrollarse y desplegarse como una flor mientras el modelo de IA generaba majestuosos acordes para un adagio improvisado. Este último fue uno de los momentos favoritos del programa para Naseck.
«Al final, Jordan y Camilla abandonaron el escenario y permitieron que la IA explorara plenamente su propia dirección», recuerda. “La escultura hizo que este momento fuera muy poderoso: permitió que el escenario permaneciera animado e intensificó la naturaleza grandiosa de los acordes que tocaba la IA. El público quedó claramente cautivado por esta parte, sentado en los bordes de sus asientos”.
«El objetivo es crear una experiencia visual musical», dice Rudess, «para mostrar lo que es posible y mejorar el juego».
Futuros musicales
Como punto de partida para su modelo, Blanchard utilizó un transformador musical, una arquitectura de red neuronal de código abierto desarrollada por la profesora asistente del MIT Anna Huang SM ’08, quien se unió a la facultad del MIT en septiembre.
«Los transformadores de música funcionan de forma similar a los grandes modelos de lenguaje», explica Blanchard. «De la misma manera que ChatGPT generaría la siguiente palabra más probable, el modelo que tenemos predeciría las siguientes notas más probables».
Blanchard afinó el modelo utilizando la propia interpretación de elementos de Rudess, desde líneas de bajo hasta acordes y melodías, cuyas variaciones Rudess grabó en su estudio de Nueva York. En el camino, Blanchard se aseguró de que la IA fuera lo suficientemente ágil como para responder en tiempo real a las improvisaciones de Rudess.
«Replanteamos el proyecto», dice Blanchard, «en términos de futuros musicales que el modelo planteaba como hipótesis y que sólo se estaban realizando en ese momento en función de lo que Jordan estaba decidiendo».
Como dice Rudess: “¿Cómo puede responder la IA? ¿Cómo puedo dialogar con ella? Esa es la parte de vanguardia de lo que estamos haciendo”.
Surgió otra prioridad: “En el campo de la IA generativa y la música, se oye hablar de startups como Suno o Udio que son capaces de generar música basada en mensajes de texto. Son muy interesantes, pero carecen de controlabilidad”, afirma Blanchard. “Para Jordan era importante poder anticipar lo que iba a suceder. Si pudiera ver que la IA iba a tomar una decisión que no quería, podría reiniciar la generación o tener un interruptor de apagado para poder tomar el control nuevamente”.
Además de darle a Rudess una pantalla con una vista previa de las decisiones musicales del modelo, Blanchard incorporó diferentes modalidades que el músico podría activar mientras toca: incitando a la IA a generar acordes o melodías principales, por ejemplo, o iniciando un patrón de llamada y respuesta. .
“Jordan es el cerebro de todo lo que está sucediendo”, afirma.
¿Qué haría Jordania?
Aunque la residencia ha concluido, los colaboradores ven muchos caminos para continuar la investigación. Por ejemplo, a Naseck le gustaría experimentar con más formas en que Rudess podría interactuar directamente con su instalación, a través de funciones como la detección capacitiva. «Esperamos que en el futuro podamos trabajar con más movimientos y posturas sutiles», dice Naseck.
Si bien la colaboración del MIT se centró en cómo Rudess puede utilizar la herramienta para mejorar su propio desempeño, es fácil imaginar otras aplicaciones. Paradiso recuerda un encuentro temprano con el técnico: “Toqué una secuencia de acordes y el modelo de Jordan generaba las pistas. Era como tener una ‘abeja’ musical de Jordan Rudess zumbando alrededor de la base melódica que estaba estableciendo, haciendo algo como lo haría Jordan, pero sujeto a la progresión simple que estaba tocando”, recuerda, con su rostro reflejando el deleite que sentía. En el momento. «Verás complementos de IA para tu músico favorito que podrás incorporar a tus propias composiciones, con algunas perillas que te permitirán controlar los detalles», plantea. «Es ese tipo de mundo el que estamos abriendo con esto».
Rudess también está interesado en explorar usos educativos. Debido a que las muestras que grabó para entrenar el modelo eran similares a los ejercicios de entrenamiento auditivo que ha utilizado con los estudiantes, cree que el modelo en sí podría algún día usarse para la enseñanza. «Este trabajo va más allá del simple valor de entretenimiento», dice.
La incursión en la inteligencia artificial es una progresión natural del interés de Rudess en la tecnología musical. “Este es el siguiente paso”, cree. Sin embargo, cuando habla del trabajo con otros músicos, su entusiasmo por la IA a menudo encuentra resistencia. “Puedo sentir simpatía o compasión por un músico que se siente amenazado, lo entiendo totalmente”, admite. «Pero mi misión es ser una de las personas que impulsa esta tecnología hacia cosas positivas».
«En el Media Lab, es muy importante pensar en cómo la IA y los humanos se unen para el beneficio de todos», dice Paradiso. “¿Cómo va a ayudarnos la IA a todos? Idealmente, hará lo que tantas tecnologías han hecho: llevarnos a otra perspectiva en la que estemos más capacitados”.
“Jordan está a la cabeza”, añade Paradiso. «Una vez que se establezca con él, la gente lo seguirá».
Tocando con el MIT
El Media Lab aterrizó por primera vez en el radar de Rudess antes de su residencia porque quería probar el teclado tejido creado por otro miembro de Responsive Environments, el investigador textil Irmandy Wickasono PhD ’24. A partir de ese momento, “ha sido un descubrimiento para mí aprender sobre las cosas interesantes que están sucediendo en el MIT en el mundo de la música”, dice Rudess.
Durante dos visitas a Cambridge la primavera pasada (con la ayuda de su esposa, la productora de teatro y música Danielle Rudess), Rudess revisó los proyectos finales del curso de Paradiso sobre controladores de música electrónica, cuyo plan de estudios incluía videos de sus propias actuaciones pasadas. Llevó un nuevo sintetizador basado en gestos llamado Osmose a una clase sobre sistemas musicales interactivos impartida por Egozy, cuyos créditos incluyen la cocreación del videojuego “Guitar Hero”. Rudess también brindó consejos sobre improvisación en una clase de composición; tocó GeoShred, un instrumento musical con pantalla táctil que co-creó con investigadores de la Universidad de Stanford, con estudiantes de música en el programa MIT Laptop Ensemble y Arts Scholars; y experimentó audio inmersivo en el MIT Spatial Sound Lab. Durante su viaje más reciente al campus en septiembre, impartió una clase magistral para pianistas en el Programa Emerson/Harris del MIT, que brinda a un total de 67 académicos y becarios apoyo para la instrucción musical a nivel de conservatorio.
«Me da una especie de prisa cada vez que vengo a la universidad», dice Rudess. «Siento la sensación de que, vaya, todas mis ideas musicales, mi inspiración y mis intereses se han unido de esta manera realmente genial».
