La informática se encuentra en un punto de inflexión. La Ley de Moore, que predice que el número de transistores en un chip electrónico se duplicará cada año, se está desacelerando debido a los límites físicos de instalar más transistores en microchips asequibles. Estos aumentos en la potencia de las computadoras se están desacelerando a medida que crece la demanda de computadoras de alto rendimiento que puedan soportar modelos de inteligencia artificial cada vez más complejos. Este inconveniente ha llevado a los ingenieros a explorar nuevos métodos para ampliar las capacidades computacionales de sus máquinas, pero la solución aún no está clara.
La computación fotónica es un posible remedio para las crecientes demandas computacionales de los modelos de aprendizaje automático. En lugar de utilizar transistores y cables, estos sistemas utilizan fotones (partículas de luz microscópicas) para realizar operaciones de cálculo en el dominio analógico. Los láseres producen estos pequeños haces de energía, que se mueven a la velocidad de la luz como una nave espacial que vuela a gran velocidad en una película de ciencia ficción. Cuando se agregan núcleos de computación fotónica a aceleradores programables como una tarjeta de interfaz de red (NIC y su contraparte aumentada, SmartNIC), el hardware resultante se puede conectar para acelerar una computadora estándar.
Los investigadores del MIT han aprovechado el potencial de la fotónica para acelerar la informática moderna demostrando sus capacidades en el aprendizaje automático. Apodado “Lightning”, su SmartNIC reconfigurable fotónico-electrónico ayuda a las redes neuronales profundas (modelos de aprendizaje automático que imitan cómo el cerebro procesa la información) a completar tareas de inferencia como el reconocimiento de imágenes y la generación de lenguaje en chatbots como ChatGPT. El novedoso diseño del prototipo permite velocidades impresionantes, creando el primer sistema informático fotónico que atiende solicitudes de inferencia de aprendizaje automático en tiempo real.
A pesar de su potencial, un desafío importante en la implementación de dispositivos informáticos fotónicos es que son pasivos, lo que significa que carecen de memoria o instrucciones para controlar los flujos de datos, a diferencia de sus homólogos electrónicos. Los sistemas de computación fotónica anteriores enfrentaban este cuello de botella, pero Lightning elimina este obstáculo para garantizar que el movimiento de datos entre componentes electrónicos y fotónicos se realice sin problemas.
“La computación fotónica ha demostrado ventajas significativas a la hora de acelerar tareas de cálculo lineal voluminosas, como la multiplicación de matrices, mientras que necesita que la electrónica se encargue del resto: acceso a la memoria, cálculos no lineales y lógica condicional. Esto crea una cantidad significativa de datos que se intercambian entre la fotónica y la electrónica para completar tareas informáticas del mundo real, como una solicitud de inferencia de aprendizaje automático”, dice Zhizhen Zhong, postdoctorado en el grupo de la profesora asociada del MIT Manya Ghobadi en el MIT Computer Science. y Laboratorio de Inteligencia Artificial (CSAIL). “El control de este flujo de datos entre la fotónica y la electrónica fue el talón de Aquiles de los últimos trabajos de computación fotónica de última generación. Incluso si tienes una computadora fotónica súper rápida, necesitas suficientes datos para alimentarla sin interrupciones. De lo contrario, tendremos una supercomputadora funcionando inactiva sin realizar ningún cálculo razonable”.
Ghobadi, profesora asociada del Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS) del MIT y miembro de CSAIL, y sus colegas del grupo son los primeros en identificar y resolver este problema. Para lograr esta hazaña, combinaron la velocidad de la fotónica y las capacidades de control del flujo de datos de las computadoras electrónicas.
Antes de Lightning, los esquemas de computación fotónica y electrónica operaban de forma independiente y hablaban diferentes idiomas. El sistema híbrido del equipo rastrea las operaciones de cálculo requeridas en la ruta de datos utilizando una abstracción de acción de conteo reconfigurable, que conecta la fotónica a los componentes electrónicos de una computadora. Esta abstracción de programación funciona como un lenguaje unificado entre los dos, controlando el acceso a los flujos de datos que pasan. La información transportada por los electrones se traduce en luz en forma de fotones, que trabajan a la velocidad de la luz para ayudar a completar una tarea de inferencia. Luego, los fotones se convierten nuevamente en electrones para transmitir la información a la computadora.
Al conectar perfectamente la fotónica con la electrónica, la novedosa abstracción de conteo-acción hace posible la rápida frecuencia de computación en tiempo real de Lightning. Los intentos anteriores utilizaron un enfoque de parada y marcha, lo que significa que los datos se verían obstaculizados por un software de control mucho más lento que tomaba todas las decisiones sobre sus movimientos. «Construir un sistema de computación fotónica sin una abstracción de programación de conteo de acciones es como intentar conducir un Lamborghini sin saber conducir», dice Ghobadi, autor principal del artículo. «¿Qué harías? Probablemente tenga un manual de conducción en una mano, luego presione el embrague, luego revise el manual, luego suelte el freno, luego revise el manual, y así sucesivamente. Esta es una operación intermitente porque, para cada decisión, hay que consultar a alguna entidad de nivel superior para que le diga qué hacer. Pero no es así como conducimos; Aprendemos a conducir y luego utilizamos la memoria muscular sin consultar el manual ni las reglas de conducción al volante. Nuestra abstracción de programación de conteo-acción actúa como la memoria muscular en Lightning. Impulsa sin problemas los electrones y fotones del sistema en tiempo de ejecución”.
Una solución respetuosa con el medio ambiente
Los servicios de aprendizaje automático que completan tareas basadas en inferencia, como ChatGPT y BERT, actualmente requieren grandes recursos informáticos. No sólo son caros: algunas estimaciones muestran que ChatGPT requiere $3 millones por mes para funcionar, pero también son perjudiciales para el medio ambiente, ya que potencialmente emiten más del doble del dióxido de carbono de una persona promedio. Los rayos utilizan fotones que se mueven más rápido que los electrones en los cables, mientras generan menos calorlo que le permite calcular a una frecuencia más rápida y al mismo tiempo ser más eficiente energéticamente.
Para medir esto, el grupo Ghobadi comparó su dispositivo con unidades de procesamiento de gráficos estándar, unidades de procesamiento de datos, SmartNIC y otros aceleradores mediante la síntesis de un chip Lightning. El equipo observó que Lightning era más eficiente energéticamente al completar solicitudes de inferencia. «Nuestros estudios de síntesis y simulación muestran que Lightning reduce el consumo de energía de inferencia del aprendizaje automático en órdenes de magnitud en comparación con los aceleradores de última generación», dice Mingran Yang, estudiante de posgrado en el laboratorio de Ghobadi y coautor del artículo. Al ser una opción más rentable y rápida, Lightning presenta una actualización potencial para que los centros de datos reduzcan la huella de carbono de su modelo de aprendizaje automático y al mismo tiempo aceleren el tiempo de respuesta de inferencia para los usuarios.
Los autores adicionales del artículo son el postdoctorado del MIT CSAIL Homa Esfahanizadeh y el estudiante universitario Liam Kronman, así como el profesor asociado del MIT EECS Dirk Englund y tres graduados recientes del departamento: Jay Lang ’22, MEng ’23; Christian Williams ’22, MEng ’23; y Alexander Sludds ’18, MEng ’19, PhD ’23. Su investigación fue apoyada, en parte, por el programa DARPA FastNICs, el programa ARPA-E ENLITENED, el Acelerador de IA DAF-MIT, la Oficina de Investigación del Ejército de los Estados Unidos a través del Instituto de Nanotecnologías para Soldados, subvenciones de la Fundación Nacional de Ciencias (NSF), la Centro NSF para redes cuánticas y una beca Sloan.
El grupo presentará sus hallazgos en el Grupo de Interés Especial sobre Comunicación de Datos (SIGCOMM) de la Asociación de Maquinaria de Computación este mes.
