En el noreste de los Estados Unidos, el Golfo de Maine representa uno de los ecosistemas marinos más biológicamente diversos del planeta: hogar de ballenas, tiburones, medusas, arenque, plancton y cientos de otras especies. Pero incluso cuando este ecosistema respalda la biodiversidad rica, está experimentando un rápido cambio ambiental. El Golfo de Maine se está calentando más rápido que el 99 por ciento de los océanos del mundo, con consecuencias que aún se están desarrollando.
Una nueva iniciativa de investigación que se desarrolla en el MIT Sea Grant, llamada Lobstger, abreviatura de aprender sistemas bioecológicos oceánicos a través de representaciones generativas, reúne la inteligencia artificial y la fotografía submarina para documentar la vida oceánica que dejó vulnerable a estos cambios y los comparte con el público de nuevas maneras visuales. Coy en co-dirigido por el fotógrafo submarino y artista visitante en el MIT Sea Grant Keith Ellenbogen y el estudiante de doctorado mecánico de Ingeniería Mecánica del MIT Andreas Mentzelopoulos, el proyecto explora cómo la IA generativa puede expandir la narración científica mediante la construcción de datos fotográficos basados en el campo.
Así como la cámara del siglo XIX transformó nuestra capacidad de documentar y revelar el mundo natural, capturando la vida con detalles sin precedentes y atrayendo entornos distantes o ocultos, la IA generativa marca una nueva frontera en la narración visual. Al igual que la fotografía temprana, AI abre un espacio creativo y conceptual, desafiando cómo definimos la autenticidad y cómo comunicamos perspectivas científicas y artísticas.
En el proyecto Lobstger, los modelos generativos se capacitan exclusivamente en una biblioteca curada de fotografías submarinas originales de Ellenbogen, cada imagen diseñada con intención artística, precisión técnica, identificación de especies precisa y contexto geográfico claro. Al construir un conjunto de datos de alta calidad basado en observaciones del mundo real, el proyecto asegura que las imágenes resultantes mantengan tanto la integridad visual como la relevancia ecológica. Además, los modelos de Lobstger se crean utilizando código personalizado desarrollado por Mentzelopoulos para proteger el proceso y las salidas de cualquier sesgo potencial de datos o modelos externos. La IA generativa de Lobstger se basa en la fotografía real, ampliando el vocabulario visual de los investigadores para profundizar la conexión del público con el mundo natural.
Esta imagen del océano SUNfish (Mola Mola) fue generada por los modelos incondicionales de Lobstger.
Imagen generada por IA: Keith Ellenbogen, Andreas Mentzelopoulos y Lobstger.
En el fondo, Lobstger opera en la intersección del arte, la ciencia y la tecnología. El proyecto se basa en el lenguaje visual de la fotografía, el rigor observacional de la ciencia marina y el poder computacional de la IA generativa. Al unir estas disciplinas, el equipo no solo está desarrollando nuevas formas de visualizar la vida oceánica, sino que también están reinventando cómo se pueden contar historias ambientales. Este enfoque integrador convierte a Lobstger en una herramienta de investigación y un experimento creativo, uno que refleja la tradición de innovación interdisciplinaria de larga data del MIT.
La fotografía submarina en las aguas costeras de Nueva Inglaterra es notoriamente difícil. Visibilidad limitada, sedimentos giratorios, burbujas y el movimiento impredecible de la vida marina plantean desafíos constantes. Durante los últimos años, Ellenbogen ha navegado estos desafíos y está construyendo un registro integral de la biodiversidad de la región a través del proyecto, Space to Sea: Visualing Ocean Wilderness de Nueva Inglaterra. Este gran conjunto de datos de imágenes subacuáticas proporciona la base para capacitar a los modelos de IA generativos de Lobstger. Las imágenes abarcan diversos ángulos, condiciones de iluminación y comportamientos animales, lo que resulta en un archivo visual que es artísticamente llamativo y biológicamente preciso.
Síntesis de imagen a través de difusión inversa: este video corto muestra la trayectoria de deshidratación del ruido latente gaussiano hasta la salida fotorrealista utilizando los modelos incondicionales de Lobstger. El deshidratamiento iterativo requiere 1,000 pases hacia adelante a través de la red neuronal entrenada.
Video: Keith Ellenbogen y Andreas Mentzelopoulos / With Sea Grant
Los modelos de difusión personalizados de Lobstger están entrenados para replicar no solo los documentos de biodiversidad Ellenbogen, sino también el estilo artístico que utiliza para capturarlo. Al aprender de miles de imágenes submarinas reales, los modelos internalizan detalles de grano fino, como gradientes de iluminación natural, coloración específica de especies e incluso la textura atmosférica creada por partículas suspendidas y luz solar refractada. El resultado son las imágenes que no solo parecen visualmente precisas, sino que también se sienten inmersivas y conmovedoras.
Los modelos pueden generar imágenes nuevas, sintéticas, pero científicamente precisas incondicionalmente (es decir, que no requieren entrada/guía del usuario) y mejorar las fotografías reales condicionalmente (es decir, generación de imagen a imagen). Al integrar la IA en el flujo de trabajo fotográfico, Ellenbogen podrá usar estas herramientas para recuperar los detalles en el agua turbia, ajustar la iluminación para enfatizar sujetos clave o incluso simular escenas que serían casi imposibles de capturar en el campo. El equipo también cree que este enfoque puede beneficiar a otros fotógrafos submarinos y editores de imágenes que enfrentan desafíos similares. Este método híbrido está diseñado para acelerar el proceso de curación y permitir que los narradores construyan una narración visual más completa y coherente de la vida debajo de la superficie.
Izquierda: imagen mejorada de una langosta americana utilizando los modelos de imagen a imagen de Lobstger. Derecha: imagen original.
Izquierda: IA Imagen genertada por Keith Ellenbogen, Andreas Mentzelopoulos y Lobstger. Derecha: Keith Ellenbogen
En una serie clave, Ellenbogen capturó imágenes de alta resolución de las medusas de mane de Lion, tiburones azules, langostas americanas y pez luna del océano (Mola mola) Mientras buceo gratis en aguas costeras. «Obtener un conjunto de datos de alta calidad no es fácil», dice Ellenbogen. «Requiere múltiples inmersiones, oportunidades perdidas y condiciones impredecibles. Pero estos desafíos son parte de lo que hace que la documentación submarina sea difícil y gratificante».
Mentzelopoulos ha desarrollado un código original para capacitar a una familia de modelos de difusión latente para Lobstger basados en las imágenes de Ellenbogen. El desarrollo de tales modelos requiere un alto nivel de experiencia técnica, y los modelos de capacitación desde cero es un proceso complejo que exige cientos de horas de cálculo y ajuste meticuloso de hiperparameter.
El proyecto refleja un proceso paralelo: documentación de campo a través de la fotografía y el desarrollo del modelo a través de la capacitación iterativa. Ellenbogen trabaja en el campo, capturando encuentros raros y fugaces con animales marinos; Mentzelopoulos trabaja en el laboratorio, traduciendo esos momentos en contextos de aprendizaje automático que pueden extender y reinterpretar el lenguaje visual del océano.
«El objetivo no es reemplazar la fotografía», dice Mentzelopoulos. «Es para construirlo y complementarlo: hacer que lo invisible sean visibles y ayudar a las personas a ver la complejidad ambiental de una manera que resuena tanto emocional como intelectualmente. Nuestros modelos apuntan a capturar no solo el realismo biológico, sino la carga emocional que puede impulsar el compromiso y la acción del mundo real».
Lobstger señala un futuro híbrido que fusiona la observación directa con la interpretación tecnológica. El objetivo a largo plazo del equipo es desarrollar un modelo integral que pueda visualizar una amplia gama de especies que se encuentran en el Golfo de Maine y, eventualmente, aplicar métodos similares a los ecosistemas marinos en todo el mundo.
Los investigadores sugieren que la fotografía y la IA generativa forman un continuo, en lugar de un conflicto. La fotografía captura lo que es: la textura, la luz y el comportamiento animal durante los encuentros reales, mientras que la IA extiende esa visión más allá de lo que se ve, hacia lo que podría entenderse, inferirse o imaginarse en función de los datos científicos y la visión artística. Juntos, ofrecen un marco poderoso para comunicar la ciencia a través de la fabricación de imágenes.
En una región donde los ecosistemas están cambiando rápidamente, el acto de visualizar se convierte en algo más que documentación. Se convierte en una herramienta para la conciencia, el compromiso y, en última instancia, la conservación. Lobstger todavía está en su infancia, y el equipo espera compartir más descubrimientos, imágenes e ideas a medida que evoluciona el proyecto.
Respuesta de la imagen principal: la imagen izquierda se generó utilizando los modelos incondicionales de Lobstger y la imagen correcta es real.
Para obtener más información, comuníquese con Keith Ellenbogen y Andreas Mentzelopoulos.
