La inteligencia artificial está cambiando la forma en que las empresas almacenan y acceden a sus datos. Esto se debe a que los sistemas tradicionales de almacenamiento de datos fueron diseñados para manejar comandos simples de un puñado de usuarios a la vez, mientras que hoy, los sistemas de IA con millones de agentes necesitan acceder y procesar continuamente grandes cantidades de datos en paralelo. Los sistemas tradicionales de almacenamiento de datos ahora tienen capas de complejidad, lo que ralentiza los sistemas de IA porque los datos deben pasar a través de múltiples niveles antes de alcanzar las unidades de procesamiento gráficas (GPU) que son las células cerebrales de la IA.
Cloudian, cofundado por Michael Tso ’93, SM ’93 y Hiroshi Ohta, está ayudando al almacenamiento a mantenerse al día con la Revolución AI. La compañía ha desarrollado un sistema de almacenamiento escalable para empresas que ayuda a los datos a fluir sin problemas entre el almacenamiento y los modelos de IA. El sistema reduce la complejidad al aplicar la computación paralela al almacenamiento de datos, consolidando funciones de IA y datos en una sola plataforma de procesamiento paralelo que almacena, recupera y procesa conjuntos de datos escalables, con transferencias directas de alta velocidad entre el almacenamiento y las GPU y las CPU y las CPU.
La plataforma integrada de almacenamiento de Cloudian simplifica el proceso de construcción de herramientas de IA a escala comercial y ofrece a las empresas una base de almacenamiento que puede mantenerse al día con el aumento de la IA.
«Una de las cosas que la gente extraña de la IA es que se trata de los datos», dice TSO. «No puede obtener una mejora del 10 por ciento en el rendimiento de la inteligencia artificial con un 10 por ciento más de datos o incluso 10 veces más datos: necesita 1,000 veces más datos. Poder almacenar esos datos de una manera fácil de administrar, y de tal manera que pueda incrustar los cálculos para que pueda ejecutar operaciones mientras los datos entran sin mover los datos, ahí es donde esta industria va».
De MIT a industria
Como un estudiante universitario en el MIT en la década de 1990, TSO fue introducido por el profesor William Dally a la computación paralela, un tipo de cálculo en el que se producen muchos cálculos simultáneamente. TSO también trabajó en computación paralela con el profesor asociado Greg Papadopoulos.
«Fue un momento increíble porque la mayoría de las escuelas tenían un proyecto súper computarico: MIT tenía cuatro», recuerda TSO.
Como estudiante de posgrado, TSO trabajó con el científico de investigación senior del MIT David Clark, un pionero informático que contribuyó a la arquitectura temprana de Internet, particularmente al Protocolo de control de transmisión (TCP) que ofrece datos entre sistemas.
«Como estudiante de posgrado en el MIT, trabajé en operaciones de redes desconectadas e intermitentes para sistemas distribuidos a gran escala», dice TSO. «Es divertido, 30 años después, eso es lo que todavía estoy haciendo hoy».
Después de su graduación, TSO trabajó en el laboratorio de arquitectura de Intel, donde inventó algoritmos de sincronización de datos utilizados por BlackBerry. También creó especificaciones para Nokia que encendieron la industria de descarga de tono de llamada. Luego se unió a Inktomi, una startup cofundada por Eric Brewer SM ’92, PhD ’94 que fue pionera en tecnologías de búsqueda y distribución de contenido web.
En 2001, TSO comenzó Gemini Mobile Technologies con Joseph Norton ’93, SM ’93 y otros. La compañía construyó los sistemas de mensajería móvil más grande del mundo para manejar el crecimiento masivo de datos a partir de los teléfonos con cámara. Luego, a fines de la década de 2000, la computación en la nube se convirtió en una forma poderosa para que las empresas alquilen servidores virtuales a medida que crecían sus operaciones. TSO notó que la cantidad de datos que se recopilaban estaba creciendo mucho más rápido que la velocidad de la red, por lo que decidió girar a la compañía.
«Los datos se están creando en muchos lugares diferentes, y esos datos tienen su propia gravedad: le costará dinero y tiempo para moverlo», explica TSO. «Eso significa que el estado final es una nube distribuida que llega a dispositivos y servidores de borde. Debe llevar la nube a los datos, no los datos a la nube».
TSO lanzó oficialmente a Cloudian de Gemini Mobile Technologies en 2012, con un nuevo énfasis en ayudar a los clientes con almacenamiento de datos escalable, distribuido y compatible con la nube.
«Lo que no vimos cuando comenzamos la compañía fue que AI iba a ser el último caso de uso de los datos en el borde», dice TSO.
Aunque la investigación de TSO en el MIT comenzó hace más de dos décadas, ve fuertes conexiones entre lo que trabajó y la industria hoy.
«Es como si toda mi vida se estuviera reproduciendo porque David Clark y yo estábamos lidiando con redes desconectadas e conectadas intermitentemente, que son parte de cada caso de uso de borde hoy, y el profesor Dally estaba trabajando en interconexiones muy rápidas y escalables», dice TSO, y señala que Dally ahora es el vicepresidente senior y científico principal de la compañía de IA líder Nvidia. «Ahora, cuando miras la arquitectura moderna de chips Nvidia y la forma en que hacen la comunicación intercambiosa, tiene el trabajo de Dally por todas partes. Con el profesor Papadopoulos, trabajé en el software de aceleración de la aplicación con hardware de computación paralelo sin tener que reescribir las aplicaciones, y ese es exactamente el problema que estamos tratando de resolver con Nvidia. Cinidentalmente, todo lo que estoy haciendo en Mit Out.». «.
Hoy la plataforma de Cloudian utiliza una arquitectura de almacenamiento de objetos en la que todo tipo de datos (documentos, videos, datos del sensor) se almacenan como un objeto único con metadatos. El almacenamiento de objetos puede administrar conjuntos de datos masivos en una estuctura de archivos planos, lo que lo hace ideal para datos no estructurados y sistemas de IA, pero tradicionalmente no ha podido enviar datos directamente a los modelos de IA sin que los datos se copiaran primero en el sistema de memoria de una computadora, creando latencia y cuellos de botella de energía para las empresas.
En julio, Cloudian anunció que ha ampliado su sistema de almacenamiento de objetos con una base de datos vectorial que almacena datos en un formulario que se puede usar inmediatamente por los modelos de IA. A medida que se ingieren los datos, Cloudian está calculando en tiempo real la forma vectorial de esos datos para alimentar herramientas de IA como motores de recomendación, búsqueda y asistentes de IA. Cloudian también anunció una asociación con NVIDIA que permite que su sistema de almacenamiento trabaje directamente con las GPU de la compañía AI. Cloudian dice que el nuevo sistema permite operaciones de IA aún más rápidas y reduce los costos informáticos.
«Nvidia nos contactó hace aproximadamente un año y medio porque las GPU son útiles solo con los datos que los mantienen ocupados», dice TSO. «Ahora que las personas se están dando cuenta de que es más fácil trasladar la IA a los datos que mover enormes conjuntos de datos. Nuestros sistemas de almacenamiento incrustan muchas funciones de IA, por lo que podemos preprocesar los datos para la IA cerca de la IA cerca de donde recopilamos y almacenamos los datos».
Ai-primero almacenamiento
Cloudian está ayudando a que alrededor de 1,000 empresas de todo el mundo obtengan más valor de sus datos, incluidos grandes fabricantes, proveedores de servicios financieros, organizaciones de atención médica y agencias gubernamentales.
La plataforma de almacenamiento de Cloudian está ayudando a un gran fabricante de automóviles, por ejemplo, a usar IA para determinar cuándo es necesario atender cada uno de sus robots de fabricación. Cloudian también está trabajando con la Biblioteca Nacional de Medicina para almacenar artículos de investigación y patentes, y la base de datos nacional de cáncer para almacenar secuencias de ADN de tumores, conjuntos de datos ricos que los modelos de IA podrían procesar para ayudar a la investigación a desarrollar nuevos tratamientos o obtener nuevas ideas.
«Las GPU han sido un habilitador increíble», dice TSO. «La ley de Moore duplica la cantidad de cálculo cada dos años, pero las GPU pueden paralelizar las operaciones en los chips, por lo que puede establecer contactos GPU y romper la ley de Moore. Esa escala está empujando la IA a los nuevos niveles de inteligencia, pero la única forma de hacer que las GPU funcionen duras es alimentarlos con los datos de la misma velocidad que computan, y la única forma de hacer eso es obtener una ridera de todas las capas entre ellos y sus datos.
