Al buscar vuelos en Google, es posible que haya notado que la estimación de emisiones de carbono de cada vuelo ahora se presenta junto a su costo. Es una manera de informar a los clientes sobre su impacto ambiental y permitirles tener en cuenta esta información en su toma de decisiones.
Todavía no existe un tipo similar de transparencia para la industria informática, a pesar de que sus emisiones de carbono superan las de toda la industria aérea. Los modelos de inteligencia artificial aumentan esta demanda de energía. Modelos enormes y populares como ChatGPT señalan una tendencia de inteligencia artificial a gran escala, impulsando los pronósticos que predicen que los centros de datos absorberán hasta el 21 por ciento del suministro mundial de electricidad para 2030.
El Centro de Supercomputación del Laboratorio Lincoln (LLSC) del MIT está desarrollando técnicas para ayudar a los centros de datos a optimizar el uso de energía. Sus técnicas van desde cambios simples pero efectivos, como hardware que limita la energía, hasta la adopción de herramientas novedosas que pueden detener el entrenamiento de IA desde el principio. Fundamentalmente, han descubierto que estas técnicas tienen un impacto mínimo en el rendimiento del modelo.
En un panorama más amplio, su trabajo está movilizando la investigación sobre informática ecológica y promoviendo una cultura de transparencia. «La informática consciente de la energía no es realmente un área de investigación, porque todos se han aferrado a sus datos», dice Vijay Gadepally, personal senior del LLSC que lidera los esfuerzos de investigación consciente de la energía. «Alguien tiene que empezar y esperamos que otros sigan el ejemplo».
Frenar el poder y enfriar
Como muchos centros de datos, el LLSC ha experimentado un aumento significativo en la cantidad de trabajos de IA que se ejecutan en su hardware. Al notar un aumento en el uso de energía, los científicos informáticos del LLSC sintieron curiosidad por encontrar formas de ejecutar trabajos de manera más eficiente. La informática ecológica es un principio del centro, que funciona enteramente con energía libre de carbono.
Entrenar un modelo de IA (el proceso mediante el cual aprende patrones de enormes conjuntos de datos) requiere el uso de unidades de procesamiento de gráficos (GPU), que son hardware que consumen mucha energía. Como ejemplo, se estima que las GPU que entrenaron GPT-3 (el precursor de ChatGPT) consumieron 1.300 megavatios-hora de electricidad, aproximadamente igual a la utilizada por 1.450 hogares estadounidenses promedio por mes.
Si bien la mayoría de la gente busca GPU debido a su potencia computacional, los fabricantes ofrecen formas de limitar la cantidad de energía que una GPU puede consumir. «Estudiamos los efectos de limitar la potencia y descubrimos que podíamos reducir el consumo de energía entre un 12 y un 15 por ciento, según el modelo», afirma Siddharth Samsi, investigador del LLSC.
La compensación por limitar la potencia es aumentar el tiempo de tarea: las GPU tardarán alrededor de un 3 por ciento más en completar una tarea, un aumento que, según Gadepally, es «apenas perceptible» considerando que los modelos a menudo se entrenan durante días o incluso meses. En uno de sus experimentos en el que entrenaron el popular modelo de lenguaje BERT, al limitar la potencia de la GPU a 150 vatios se obtuvo un aumento de dos horas en el tiempo de entrenamiento (de 80 a 82 horas), pero se ahorró el equivalente a una semana de energía en un hogar estadounidense.
Luego, el equipo creó un software que conecta esta capacidad de limitación de energía al sistema de programación ampliamente utilizado, Slurm. El software permite a los propietarios de centros de datos establecer límites en todo su sistema o trabajo por trabajo.
«Podemos implementar esta intervención hoy y lo hemos hecho en todos nuestros sistemas», dice Gadepally.
También han surgido beneficios secundarios. Desde que se implementaron restricciones de energía, las GPU de las supercomputadoras LLSC han estado funcionando aproximadamente 30 grados Fahrenheit más frías y a una temperatura más constante, lo que reduce la tensión en el sistema de enfriamiento. Hacer funcionar el refrigerador de hardware también puede aumentar potencialmente la confiabilidad y la vida útil. Ahora pueden considerar retrasar la compra de nuevo hardware (reduciendo el «carbono incorporado» del centro, o las emisiones creadas durante la fabricación de equipos) hasta que las eficiencias obtenidas mediante el uso de nuevo hardware compensen este aspecto de la huella de carbono. También están encontrando formas de reducir las necesidades de refrigeración programando estratégicamente los trabajos para que se ejecuten durante la noche y durante los meses de invierno.
«Los centros de datos pueden utilizar estos enfoques fáciles de implementar hoy en día para aumentar la eficiencia, sin requerir modificaciones en el código o la infraestructura», afirma Gadepally.
Adoptar esta mirada holística a las operaciones de un centro de datos para encontrar oportunidades de reducción puede llevar mucho tiempo. Para facilitar este proceso a otros, el equipo, en colaboración con el profesor Devesh Tiwari y Baolin Li de la Universidad Northeastern, desarrolló y publicó recientemente un marco integral para analizar la huella de carbono de los sistemas informáticos de alto rendimiento. Los profesionales de sistemas pueden utilizar este marco de análisis para comprender mejor qué tan sostenible es su sistema actual y considerar cambios para los sistemas de próxima generación.
Ajustar cómo se entrenan y utilizan los modelos
Además de realizar ajustes en las operaciones del centro de datos, el equipo está ideando formas de hacer que el desarrollo de modelos de IA sea más eficiente.
Al entrenar modelos, los desarrolladores de IA a menudo se centran en mejorar la precisión y se basan en modelos anteriores como punto de partida. Para lograr el resultado deseado, tienen que determinar qué parámetros usar, y hacerlo bien puede requerir probar miles de configuraciones. Este proceso, llamado optimización de hiperparámetros, es un área que los investigadores de LLSC han encontrado madura para reducir el desperdicio de energía.
«Hemos desarrollado un modelo que básicamente analiza la velocidad a la que aprende una configuración determinada», dice Gadepally. Dada esa tasa, su modelo predice el desempeño probable. Los modelos de bajo rendimiento se detienen tempranamente. «Podemos darle una estimación muy precisa desde el principio de que el mejor modelo estará entre los 10 mejores modelos en funcionamiento», afirma.
En sus estudios, esta parada temprana condujo a ahorros espectaculares: una reducción del 80 por ciento en la energía utilizada para el entrenamiento del modelo. Han aplicado esta técnica a modelos desarrollados para aplicaciones de visión por computadora, procesamiento de lenguaje natural y diseño de materiales.
«En mi opinión, esta técnica tiene el mayor potencial para mejorar la forma en que se entrenan los modelos de IA», afirma Gadepally.
La formación es sólo una parte de las emisiones de un modelo de IA. El mayor contribuyente a las emisiones a lo largo del tiempo es la inferencia del modelo, o el proceso de ejecutar el modelo en vivo, como cuando un usuario chatea con ChatGPT. Para responder rápidamente, estos modelos utilizan hardware redundante, funcionando todo el tiempo, esperando que un usuario haga una pregunta.
Una forma de mejorar la eficiencia de la inferencia es utilizar el hardware más adecuado. También con la Universidad Northeastern, el equipo creó un optimizador que coincide con un modelo con la combinación de hardware más eficiente en carbono, como GPU de alta potencia para las partes de inferencia computacionalmente intensas y unidades centrales de procesamiento (CPU) de bajo consumo para las menos -Aspectos exigentes. Este trabajo ganó recientemente el premio al mejor artículo en el Simposio Internacional ACM sobre Computación Distribuida y Paralela de Alto Rendimiento.
El uso de este optimizador puede disminuir el uso de energía entre un 10 y un 20 por ciento y al mismo tiempo cumplir con el mismo «objetivo de calidad de servicio» (la rapidez con la que puede responder el modelo).
Esta herramienta es especialmente útil para los clientes de la nube, que alquilan sistemas de centros de datos y deben seleccionar hardware entre miles de opciones. «La mayoría de los clientes sobreestiman lo que necesitan; eligen hardware con capacidad excesiva simplemente porque no conocen nada mejor», dice Gadepally.
Creciente conciencia sobre la informática ecológica
La energía ahorrada al implementar estas intervenciones también reduce los costos asociados al desarrollo de la IA, a menudo en una proporción de uno a uno. De hecho, el coste suele utilizarse como indicador del consumo de energía. Teniendo en cuenta estos ahorros, ¿por qué no hay más centros de datos invirtiendo en técnicas ecológicas?
«Creo que es un problema de desalineación de incentivos», dice Samsi. «Ha habido tal carrera por construir modelos mejores y más grandes que casi todas las consideraciones secundarias han sido dejadas de lado».
Señalan que, si bien algunos centros de datos compran créditos de energía renovable, estas energías renovables no son suficientes para cubrir las crecientes demandas de energía. La mayoría de la electricidad que alimenta los centros de datos proviene de combustibles fósiles, y el agua utilizada para la refrigeración está contribuyendo a la tensión de las cuencas hidrográficas.
También pueden existir dudas porque no se han realizado estudios sistemáticos sobre técnicas de ahorro de energía. Es por eso que el equipo ha estado impulsando su investigación en lugares revisados por pares además de en repositorios de código abierto. Algunos grandes actores de la industria, como Google DeepMind, han aplicado el aprendizaje automático para aumentar la eficiencia de los centros de datos, pero no han puesto su trabajo a disposición de otros para que lo implementen o lo repliquen.
Las principales conferencias sobre IA ahora están presionando para que se establezcan declaraciones éticas que consideren cómo se podría hacer un mal uso de la IA. El equipo ve el aspecto climático como un tema ético de la IA al que todavía no se le ha prestado mucha atención, pero que también parece estar cambiando lentamente. Algunos investigadores ahora están revelando la huella de carbono del entrenamiento de los últimos modelos, y la industria también está mostrando un cambio en la transparencia energética, como en este informe reciente de Meta AI.
También reconocen que la transparencia es difícil sin herramientas que puedan mostrar a los desarrolladores de IA su consumo. La presentación de informes está en la hoja de ruta de LLSC para este año. Quieren poder mostrar a cada usuario de LLSC, para cada trabajo, cuánta energía consumen y cómo se compara esta cantidad con otros, similar a los informes de energía del hogar.
Parte de este esfuerzo requiere trabajar más estrechamente con los fabricantes de hardware para que sacar estos datos del hardware sea más fácil y preciso. Si los fabricantes pueden estandarizar la forma en que se leen los datos, entonces se podrán aplicar herramientas de generación de informes y ahorro de energía en diferentes plataformas de hardware. Se está llevando a cabo una colaboración entre los investigadores de LLSC e Intel para trabajar en este mismo problema.
Incluso los desarrolladores de IA que son conscientes de las intensas necesidades energéticas de la IA, no pueden hacer mucho por sí solos para frenar este uso de energía. El equipo de LLSC quiere ayudar a otros centros de datos a aplicar estas intervenciones y brindar a los usuarios opciones conscientes de la energía. Su primera asociación es con la Fuerza Aérea de EE. UU., patrocinador de esta investigación, que opera miles de centros de datos. La aplicación de estas técnicas puede reducir significativamente su consumo y coste de energía.
«Estamos poniendo el control en manos de los desarrolladores de IA que quieren reducir su huella», afirma Gadepally. «¿Realmente necesito entrenar gratuitamente modelos poco prometedores? ¿Estoy dispuesto a ejecutar mis GPU más lento para ahorrar energía? Hasta donde sabemos, ningún otro centro de supercomputación le permite considerar estas opciones. Usando nuestras herramientas, hoy usted puede decidir».
Visite esta página web para ver las publicaciones del grupo relacionadas con la informática con conciencia energética y los hallazgos descritos en este artículo.