Los investigadores de Apple han desarrollado un modelo de IA que mejora drásticamente las fotografías extremadamente oscuras al integrar un modelo de imagen basado en difusión directamente en el proceso de procesamiento de imágenes de la cámara, lo que le permite recuperar detalles de los datos sin procesar del sensor que normalmente se perderían. Así es como lo hicieron.
El problema de tomar fotografías con muy poca luz
Probablemente tomaste una foto en condiciones muy oscuras, lo que resultó en una imagen llena de ruido digital granulado.
Esto sucede cuando el sensor de imagen no capta suficiente luz.
Para intentar compensar esto, empresas como Apple implementan algoritmos de procesamiento de imágenes que han sido criticados por crear efectos demasiado suaves, similares a las pinturas al óleo, donde los detalles finos desaparecen o se reconstruyen en algo apenas reconocible o legible.
Introduzca DarkDiff
Para abordar este problema, investigadores de Apple y la Universidad Purdue han desarrollado un modelo llamado DarkDiff. Así es como lo expresan en un estudio llamado DarkDiff: Advancing Low Light Raw Enhancement by Retasking Diffusion Models for Camera ISP:
La fotografía de alta calidad con luz extremadamente baja es un desafío, pero impactante para las cámaras digitales. Con hardware informático avanzado, los algoritmos tradicionales del procesador de procesamiento de imágenes (ISP) de las cámaras están siendo reemplazados gradualmente por redes profundas eficientes que mejoran las imágenes sin procesar ruidosas de manera más inteligente. Sin embargo, los modelos existentes basados en regresión a menudo minimizan los errores de píxeles y dan como resultado un suavizado excesivo de las fotografías en condiciones de poca luz o sombras profundas. Trabajos recientes han intentado abordar esta limitación entrenando un modelo de difusión desde cero, pero estos modelos aún tienen dificultades para recuperar detalles nítidos de la imagen y colores precisos. Introducimos un nuevo marco para mejorar imágenes sin procesar con poca luz mediante el restablecimiento de modelos de difusión generativa previamente entrenados con ISP de cámara. Amplios experimentos demuestran que nuestro método supera al estado del arte en términos de calidad de percepción en tres desafiantes pruebas de imágenes sin procesar con poca luz.
En otras palabras, en lugar de aplicar IA en la etapa de posprocesamiento, reutilizaron Stable Diffusion (un modelo de código abierto entrenado en millones de imágenes) para descubrir qué detalles debe existe en las áreas oscuras de las fotos, considerando su contexto general, y lo integra en el proceso de procesamiento de señales de imágenes.
De hecho, su enfoque introduce un mecanismo que calcula la atención en imágenes localizadas, lo que ayuda a preservar las estructuras locales y mitiga alucinaciones como la imagen a continuación, donde la reconstrucción de la IA cambia completamente el contenido de la imagen.
Con este enfoque, el ISP de la cámara aún maneja el procesamiento inicial necesario para dar sentido a los datos sin procesar del sensor, incluidos pasos como el balance de blancos y la demostración. DarkDiff luego trabaja en esta imagen RGB lineal, la elimina el ruido y crea directamente la imagen sRGB final.
DarkDiff también utiliza una técnica de difusión estándar llamada guía sin clasificador, que básicamente controla qué tan cerca debe seguir el modelo la imagen de entrada en comparación con sus ajustes preestablecidos visuales aprendidos.
Con una guía menor, el modelo produce patrones más suaves, mientras que una guía mayor lo alienta a generar texturas más nítidas y detalles más finos (lo que a su vez también aumenta el riesgo de crear artefactos no deseados o contenido alucinante).
Para probar DarkDiff, los investigadores utilizaron fotografías reales tomadas con luz extremadamente baja con cámaras como la Sony A7SII, comparando los resultados con otros modelos de mejora sin procesar y líneas de base basadas en difusión, incluida ExposureDiffusion.
Las imágenes de prueba se tomaron de noche con tiempos de exposición de tan solo 0,033 segundos, y las versiones mejoradas de DarkDiff se compararon con fotografías de referencia tomadas con exposiciones 300 veces más largas en un trípode.
Estos son algunos de los resultados (que le recomendamos que vea en su totalidad en el estudio original):
DarkDiff no está exento de problemas
Los investigadores señalan que su procesamiento basado en IA es significativamente más lento que los métodos tradicionales y probablemente requeriría procesamiento en la nube para compensar las altas demandas computacionales que agotarían rápidamente la batería si se ejecutara localmente en un teléfono. Además de esto, también notaron limitaciones en el reconocimiento de texto que no está en inglés en escenas con poca luz.
También es importante tener en cuenta que en ninguna parte de la investigación se sugiere que DarkDiff llegue pronto al iPhone. Aun así, el trabajo demuestra el continuo enfoque de Apple en los avances en la fotografía por computadora.
En los últimos años, esta se ha convertido en un área de interés cada vez más importante en todo el mercado de teléfonos inteligentes a medida que los clientes exigen capacidades de cámara que van más allá de lo que las empresas pueden colocar físicamente en sus dispositivos.
Para leer el estudio completo y ver comparaciones adicionales entre DarkDiff y otros métodos de eliminación de ruido, siga este enlace.
Ofertas en accesorios en Amazon
FTC: utilizamos enlaces de afiliados automáticos que generan ingresos. más.
