Evaluación y desarrollo de métricas de calidad espacial y espectral para aplicaciones de fusión de imágenes multiespectrales de teledetección de alta resolución

Universidad de Las Palmas de Gran Canaria Departamento de Señales y Comunicaciones Programa de Doctorado Cibernética y Telecomunicación Tesis Doctoral Evaluación y desarrollo de métricas de calidad espacial y espectral para aplicaciones de fusión de imágenes multiespectrales de teledetección de alta resolución AUTOR: Dionisio Rodríguez Esparragón DIRECTORES: Dr. Javier Marcello Ruiz Dra. Consuelo Gonzalo Martín Dr. Francisco Eugenio González El Director El Codirector El Codirector El Doctorando Las Palmas de Gran Canaria, Noviembre de 2015 Dedicatoria A mi hijo, Ale, y a mi pareja, Gina, inspiradores y referencias en mi vida Agradecimientos Expreso mi gratitud a mis directores de tesis. Al Dr. Francisco Eugenio González por su acertado análisis y sus muestras de apoyo en los momentos más complicados. Especialmente, a la Dra. Consuelo Gonzalo Martín y al Dr. Javier Marcello por su dedicación incondicional y ejemplo de trabajo. No sólo he tenido la fortuna de que compartieran sus altas habilidades científicas y virtudes investigadoras conmigo, sino también la de constatar sus mayores cualidades humanas. Muchas gracias. También a todos mis compañeros del departamento de Señales y Comunicaciones de la ULPGC que me han manifestado su afecto, apoyo y ánimo en el tramo final del trabajo de la tesis. Entre ellos, quiero mencionar a Lidia García Rodríguez que se preocupa (y ocupa) siempre, a José Guillermo Viera por el ánimo y la compañía, y a los doctores Eduardo Hernández, Eduardo Rovaris y Jesús Alonso por su interés y aliento constante. Por último a mis compañeros del Centro de Tecnología Biomédica de la UPM que me hicieron sentir como en casa (a pesar de ser “teleco”). En especial a Ángel Mario GarcíaPedrero y a la Dra. Ernestina Menasalvas. Las Palmas de Gran Canaria, noviembre de 2015 Este trabajo ha sido apoyado por el proyecto ARTeMISat (CGL2013-46674-R), financiado por el Ministerio de Economía y Competitividad de España. i ÍNDICE Índice de Figuras ................................................................................................................ iii Índice de Tablas ................................................................................................................. vii 1 INTRODUCCIÓN 1.1 Antecedentes y motivación ............................................................................................ 1 1.2 Objetivos .......................................................................................................................... 4 1.3 Estructura de la memoria ............................................................................................... 6 1.4. Referencias bibliográficas ............................................................................................... 7 2 FUSIÓN DE IMÁGENES DE SATÉLITES DE OBSERVACIÓN DE LA TIERRA 2.1 Introducción .................................................................................................................... 9 2.2 Teledetección espacial .................................................................................................. 10 2.2.1 Características orbitales y espectrales de los satélites de alta resolución Ikonos, QuickBird y GeoEye-1 ................................................................................ 12 2.3 Procesado de imágenes multiespectrales ................................................................... 15 2.4 Algoritmos de fusión a nivel de píxel ......................................................................... 19 2.4.1 Introducción ..................................................................................................... 19 2.4.2 Revisión del estado del arte ............................................................................ 21 2.4.3 Descripción de los algoritmos de pansharpening analizados .................... 23 2.5 Resumen ......................................................................................................................... 33 2.6 Referencias Bibliográficas ............................................................................................ 34 3. MEDIDAS DE LA CALIDAD DE IMÁGENES FUSIONADAS 3.1 Introducción .................................................................................................................. 37 3.2 Revisión del estado del arte ......................................................................................... 40 3.2.1 Protocolos de medida ...................................................................................... 40 3.2.2 Índices de calidad espectral ............................................................................ 45 3.2.3 Índices de calidad espacial .............................................................................. 48 3.2.4 Índices de calidad global ................................................................................. 49 3.2.5 Otras aproximaciones ...................................................................................... 54 3.3 Propuesta de nuevos índices de calidad ..................................................................... 60 3.3.1 Introducción ...................................................................................................... 60 ii Índice 3.3.2 Enfoque cualitativo ........................................................................................... 61 3.3.3 Enfoque cuantitativo ........................................................................................ 63 3.4 Resumen ......................................................................................................................... 70 3.5 Referencias bibliográficas ............................................................................................. 72 4 METODOLOGÍA PARA LA EVALUACIÓN DE LA ROBUSTEZ Y SENSIBILIDAD DE LOS ÍNDICES DE CALIDAD 4.1 Introducción .................................................................................................................. 77 4.2 Datos ............................................................................................................................... 79 4.3 Descripción de las metodologías propuestas para la evaluación de los índices de calidad ..................................................................................................................................... 85 4.3.1 Evaluación basada en distorsiones espectrales ............................................. 85 4.3.2 Evaluación basada en distorsiones geométricas ........................................... 89 4.3.3 Evaluación basada en el sistema visual humano .......................................... 91 4.3.4 Evaluación basada en imágenes fusionadas .................................................. 93 4.4 Resumen ......................................................................................................................... 94 4.5 Referencias bibliográficas ............................................................................................. 95 5 RESULTADOS DE LA EVALUACIÓN DE LOS ÍNDICES DE CALIDAD 5.1 Introducción .................................................................................................................. 97 5.2 Análisis de la robustez y sensibilidad de los índices de calidad .............................. 98 5.2.1 Evaluación frente a distorsiones espectrales ................................................. 98 5.2.2 Evaluación frente a distorsiones espaciales ................................................. 102 5.3 Resultados de la evaluación de los índices en imágenes fusionadas ..................... 107 5.3.1 Evaluación apoyada en el Sistema Visual Humano ................................... 109 5.3.2 Evaluación cuantitativa basada en píxel ....................................................... 111 5.3.3 Evaluación cuantitativa basada en objeto .................................................... 115 5.4 Resumen ....................................................................................................................... 130 6 CONCLUSIONES 6.1 Contribuciones principales ........................................................................................ 133 6.2 Líneas futuras de investigación ................................................................................. 135 6.3 Publicaciones ............................................................................................................... 136 ANEXOS Anexo I Mapas de calidad para las fusiones de la imagen QB24 ............................. A1.1 Índice iii iii ÍNDICE DE FIGURAS 2.1 (a) Imágenes ilustrativas de los satélites QuickBird, GeoEye-1 e Ikonos, (b) ejemplos de composición RGB de las imágenes multiespectrales adquiridas, procesadas y utilizadas en este trabajo, del área de interés (Isla de Gran Canaria, Islas Canarias) ......................................................... 14 2.2 Jerarquía genérica de niveles de procesamiento de imágenes alta resolución ................................ 17 2.3 Jerarquía genérica de niveles de procesamiento de imágenes WorldView-2 para la obtención de parámetros de calidad de agua, batimetría, y clasificación bentónica (adaptada de (Eugenio, Marcello et al. 2015)) ..................................................................................................................................... 17 2.4 Composición en color a partir de las bandas del satélite Quickbird: (a) imagen multiespectral original, y, (b) imagen tras la aplicación de técnicas de pansharpening ................................................. 20 2.5 Diagrama de bloques genérico del proceso de fusión a nivel de píxel entre las bandas MS y PAN ..................................................................................................................................................... 21 2.6 Algoritmo de fusión IHS ........................................................................................................................ 25 2.7 Algoritmo de fusión PCA. ...................................................................................................................... 26 2.8 Representación piramidal del algoritmo de Mallat (González-Audícana 2007) ............................. 28 2.9 Estrategia de fusión sustitutiva usando el algoritmo de Mallat (adaptado de González-Audícana 2007) ..................................................................................................................................................... 28 2.10. Procedimiento aditivo de fusión usando el algoritmo À trous adaptado de (adaptado de González-Audícana 2007) ............................................................................................................................. 29 2.11 Procedimiento de fusión del esquema À trous-IHS (adaptado de (González-Audícana 2007) ..................................................................................................................................................... 31 2.12 Procedimiento de fusión del esquema À trous-PCA adaptado de (adaptado de GonzálezAudícana 2007) ............................................................................................................................................... 31 2.13 Ejemplo de algoritmos de fusión: (a) composición RGB original, (b) Brovey, (c) PCA, (d) IHS, (e) eIHS, (e) Mallat (TWD), (f) À trous, (g) À trous-PCA, (h) À trous-IHS e (i) À trousDF ..................................................................................................................................................... 32 3.1 Protocolo de Wald ................................................................................................................................... 41 3.2 Protocolo de Zhou .................................................................................................................................. 42 3.3 Protocolo QNR ........................................................................................................................................ 43 3.4 Esquema del procedimiento de medida basada en la distancia DE ................................................. 63 3.5 Esquema del procedimiento de medida basada en la modificación del ERGAS espectral ..................................................................................................................................................... 65 3.6 Esquema de procedimiento de medida basada en comparación de frecuencias espaciales ..................................................................................................................................................... 66 3.7 Esquema de procedimiento de medida basada en SSIM ................................................................... 67 3.8 Esquema de procedimiento de medida basada en objetos ................................................................ 68 4.1 Esquema general de procedimiento de evaluación basado en píxeles ............................................. 78 2 Capítulo 1 Además, su funcionamiento ha sido cuestionado. Por ejemplo, en (Zhou Wang, Bovik 2009), los autores indican que “durante más de 50 años, el MSE ha sido la medida de funcionamiento dominante en el campo del procesado de señales....a pesar del hecho de que en muchas de esas aplicaciones, el MSE presenta un funcionamiento débil y ha sido ampliamente criticado por serias deficiencias, especialmente cuando se trabaja con señales perceptualmente importantes como el habla y las imágenes”. Estos problemas han propiciado el estudio intenso de las medidas de calidad y los modelos de visión en los últimos años. Se puede afirmar que, hoy en día, la investigación en análisis de la calidad de la imagen constituye una sub-disciplina activa del procesado de imágenes (Chandler 2013). Una amplia variedad de aplicaciones se beneficia de las técnicas y algoritmos que se obtienen de su estudio. El empleo de algoritmos de evaluación de la calidad de imagen se extiende a aplicaciones como la codificación de vídeo (Kai, Hongxu 2011), marcas de agua digitales (Karybali, Berberidis 2006), protección contra errores (Lam, Karam et al. 1999), eliminación de ruido (Rehman, Rostami et al. 2012), síntesis de imagen (Walter, Pattanaik et al. 2002) y otras áreas como, por ejemplo, la predicción de la inteligibilidad de la señal de vídeo en lengua de signos (Ciaramello, Hemami 2007). Los modelos o algoritmos de evaluación utilizados para predecir la calidad de las imágenes se pueden dividir en tres tipos en función de la disponibilidad o el uso de una imagen de referencia: referencia completa (RC), referencia reducida (RR) y sin referencia o ciegos (SR) (Virtanen, Nuutinen et al. 2015). El término "imagen de referencia" en este contexto se refiere a aquella cuya calidad visual o capacidad de información es alta o mayor en comparación con la del conjunto de datos a analizar, o, es simplemente conocida. Un algoritmo del tipo RC requiere una imagen de referencia con valores de píxeles conocidos. Un algoritmo clase RR requiere cierta información de la imagen original o de referencia. Por último, un algoritmo SR no necesita una imagen original de referencia, por tanto, los valores calculados por las medidas SR se basan únicamente en la información que está disponible en la imagen evaluada. La situación más habitual en aplicaciones reales es la inexistencia de una imagen de referencia, por tanto, el desarrollo de algoritmos SR tiene un alto potencial de investigación. Más aún cuando actualmente el rendimiento de las medidas RC y RR sigue siendo limitado. Por otro lado, desde que el aeronauta francés Gaspard-Félix Tournachon tomara la primera fotografía aérea en 1858, la tecnología de adquirir y procesar imágenes de teledetección ha progresado rápidamente (Lillesand, Kiefer et al. 2014). El interés por emplear imágenes de teledetección en muchas actividades científicas, económicas y sociales ha impulsado el desarrollo del diverso rango de sensores disponibles hoy en día, desde cámaras digitales de alta resolución hasta sistemas térmicos, multiespectrales o hiperespectrales y sistemas radar o LIDAR. En consecuencia, los campos de la actividad humana, tanto civiles como militares, dentro de los cuales se puede aplicar la teledetección se han ampliado considerablemente. En este sentido, la disponibilidad de una gran cantidad de datos de imagen con diversidad espectral (visible, infrarrojo, infrarrojo de onda corta, infrarrojo térmico y microondas) junto a la resolución complementaria espacial-espectral, y con las características peculiares de cada conjunto de imágenes, ha fomentado el desarrollo de técnicas de fusión especialmente adaptadas a las imágenes de teledetección de la Tierra (Alparone, Aiazzi et al. 2015). En este contexto, el objetivo de la fusión de imágenes no es otro que extraer un valor adicional al disponible a partir del análisis por separado de los conjuntos de datos. Aunque los resultados de la fusión son a menudo analizados por expertos humanos para resolver tareas específicas como por ejemplo Introducción 3 cartografía temática, detección de deslizamientos de tierra, inundaciones o áreas quemadas; sistemas parcialmente supervisados y también sistemas completamente automáticos han comenzado a beneficiarse del empleo de las imágenes fusionadas en lugar del conjunto de datos por separado. El “panchromatic sharpening” o pan-sharpening constituye la metodología más relevante diseñada, específicamente, para la fusión de imágenes ópticas de teledetección a nivel de píxel. Para su empleo se requiere disponer, en general, de una imagen de banda ancha en el espectro visible o visible más infrarrojo cercano (imagen pancromática, 𝑃𝑃𝑃𝑃𝑃𝑃), con resolución del terreno de 2 a 6 veces mayor que un conjunto de imágenes espectrales de banda estrecha sintonizadas en torno a determinada longitud de onda (imagen multiespectral, 𝑀𝑀𝑀𝑀). Como resultado del proceso de pan-sharpening se obtiene una imagen fusionada (𝐹𝐹𝐹𝐹𝑀𝑀) o pan-sharpened que, idealmente, combina la alta resolución espacial de la 𝑃𝑃𝑃𝑃𝑃𝑃 con la alta resolución espectral de la 𝑀𝑀𝑀𝑀. En resumen, se puede decir que el proceso de fusión de imágenes de teledetección de muy alta resolución o pan-sharpening consiste en añadir o inyectar la información espacial que contiene la imagen 𝑃𝑃𝑃𝑃𝑃𝑃 a las bandas espectrales de la imagen 𝑀𝑀𝑀𝑀, preservando las características espectrales de ésta. Sin embargo, en este proceso se introducen distorsiones, además de las inherentes al registro de los datos 𝑀𝑀𝑀𝑀 y 𝑃𝑃𝑃𝑃𝑃𝑃. En este contexto, para intentar evitar este inconveniente, a lo largo de la última década se han desarrollado multitud de algoritmos de pansharpening (Vivone, Alparone et al. 2015). Sin embargo, no existe en la actualidad ninguno que se postule como la solución óptima para la fusión de imágenes. Con el objeto de generar cartografía temática o extraer características, la fusión es un tratamiento previo habitual. Así, las distintas clases que se observan en la escena se pueden distinguir o clasificar mejor debido a la alta resolución espectral de la imagen 𝑀𝑀𝑀𝑀. Sin embargo, los mapas creados tendrán una apariencia grosera debido a su baja resolución espacial. Por otro lado, la separación de las diferentes clases presentes en la imagen 𝑃𝑃𝑃𝑃𝑃𝑃 es una tarea complicada debido a la proximidad entre sus niveles de grises, pero su mayor resolución espacial permite una detección más precisa de las estructuras y los bordes que las separan. (Stathaki 2011). La imagen 𝐹𝐹𝐹𝐹𝑀𝑀 ideal debería proporcionar, por tanto, ambas características y, en consecuencia, mejorar procesos como la segmentación o clasificación. De la discusión previa, se pueden extraer dos conclusiones principales. En primer lugar, que tanto para aplicaciones comerciales como para establecer una escala del funcionamiento de los algoritmos de pan-sharpening, con respecto a la mejora que introducen en la imagen 𝑀𝑀𝑀𝑀, y ayudar a su desarrollo, es necesario disponer de medidas cuantitativas de evaluación de la calidad de las imágenes que resultan del proceso de fusión. En segundo lugar, que esta evaluación de la calidad debe analizar tanto la fidelidad espectral de la imagen 𝐹𝐹𝐹𝐹𝑀𝑀 respecto a la imagen 𝑀𝑀𝑀𝑀 como la cantidad de detalle o información de altas frecuencias de la imagen 𝑃𝑃𝑃𝑃𝑃𝑃 que incorpora la imagen 𝐹𝐹𝐹𝐹𝑀𝑀. Estos problemas se enmarcan dentro de un esquema de medida RR, dado que se desconocen los datos espectrales 𝑀𝑀𝑀𝑀 a la resolución espacial de los datos 𝑃𝑃𝑃𝑃𝑃𝑃 y, por otro lado, la información espacial de la PAN no está discriminada por bandas espectrales como sucede con los datos 𝑀𝑀𝑀𝑀. 4 Capítulo 1 1.2 Objetivos En la introducción anterior se ha subrayado la importancia de medir tanto la calidad espacial como espectral en imágenes fusionadas a partir de los datos proporcionados por satélites ópticos. Los diferentes métodos de fusión siempre alteran los componentes espaciales y espectrales que contienen las imágenes 𝑃𝑃𝑃𝑃𝑃𝑃 y 𝑀𝑀𝑀𝑀 originales, lo que pude influir significativamente en la exactitud de la recuperación de la información (Xin Huang, Dawei Wen et al. 2014). Más aún, la calidad espacial es extremadamente sensible a errores de alineamiento entre los datos 𝑀𝑀𝑀𝑀 y la 𝑃𝑃𝑃𝑃𝑃𝑃 (Baronti, Aiazzi et al. 2011). En otras palabras, los algoritmos de fusión introducen cierta distorsión espacial y, como consecuencia de problemas de registro o mal-alineamiento entre la imagen 𝑀𝑀𝑀𝑀 y la imagen 𝑃𝑃𝑃𝑃𝑃𝑃, puede aparecer una imagen borrosa o, incluso, reducirse la calidad espectral de la imagen 𝐹𝐹𝐹𝐹𝑀𝑀 (Jing, Cheng 2011). En este sentido, una buena calidad espacial es importante para la extracción de detalles, mientras que una buena calidad espectral permite una mejor clasificación de objetos, por ejemplo, las diferentes cubiertas terrestres (Leung, Liu et al. 2014, Palsson, Sveinsson et al. 2012, Alparone, Wald et al. 2007). Sin embargo, el número de publicaciones sobre medidas de calidad de imagen es bajo comparado con el de otras áreas del procesado de imagen (Wang, Bovik 2006). Particularmente, hay pocos estudios sobre el funcionamiento de las medidas de calidad y un número mayor de propuestas de medidas espectrales que espaciales. Como sucede en la mayoría de los problemas de fusión de datos, la ausencia de una imagen de referencia es la primera limitación para la evaluación precisa de los resultados (Vivone, Alparone et al. 2015). Por otro lado, el uso de aproximaciones teóricas a la evaluación de la calidad usando medidas que provenían del procesado de imágenes puede conducir a resultados erróneos (Padwick, Deskevich et al. 2010, Palubinskas 2015). Además, la mayor parte de estas medidas no consideran características del sistemas visual humano y, por último, evalúan la calidad como un único escalar que, lógicamente, no puede representar la variabilidad zonal de una imagen de teledetección. Finalmente, los estudios que analizan el funcionamiento o idoneidad de los índices de calidad descritos en la literatura son escasos (Vivone, Alparone et al. 2015). En este sentido, en el ámbito de esta tesis doctoral se pretende avanzar en la resolución de varios problemas relacionados con la calidad de las imágenes fusionadas de teledetección. En primer lugar, se aborda el análisis del comportamiento de las medidas de calidad habitualmente utilizadas en la literatura científica para evaluar imágenes fusionadas frente a distorsiones que pueden aparecer por la aplicación del algoritmo de fusión o la captura de datos por los sensores de los satélites. En otras palabras, se pretende estudiar la fiabilidad de las medidas de calidad existente y su robustez. En segundo lugar, se avanza en la formulación de algoritmos de medida novedosos que aporten una mejora con respecto a los usados con mayor frecuencia. Bien sea desde el punto de vista cualitativo o cuantitativo. En tercer lugar, se propone un esquema conceptual de evaluación alternativo al enfoque a basado en píxeles, desplazando el problema de la medida de calidad en imágenes a una estrategia de comparación de objetos. De una forma más detallada, los principales objetivos que se han marcado en este trabajo de tesis son los siguientes: Introducción 5 • Proponer una metodología de test para la validación de las medidas de calidad de imágenes que se emplean en la literatura científica. Dado que no existe un marco formal orientado a determinar sus comportamientos frente a artefactos introducidos en el proceso de captura de datos y/o fusión, se plantea la conveniencia del desarrollo de esta metodología de evaluación para determinar de forma precisa la fiabilidad y robustez de cada métrica de calidad. En este contexto, los objetivos específicos serán: - Proponer y ensayar una estrategia de evaluación cualitativa de las medidas de calidad. - Describir, desarrollar y ensayar una metodología para la evaluación cuantitativa de la sensibilidad y robustez de las medidas de calidad espectral frente a variaciones espectrales de las imágenes de referencia. - Establecer un procedimiento, similar al expresado en el objetivo anterior, frente a distorsiones espaciales de las imágenes de referencia. • Proponer y ensayar algoritmos novedosos de análisis de la calidad de imágenes fusionadas basados en píxeles que permitan una evaluación cuantitativa que se aproxime a los resultados de la evaluación cualitativa por un conjunto de observadores humanos, o que su funcionamiento sea más robusto y/o sensible frente a distorsiones espectrales o espaciales que los algoritmos existentes en la actualidad. • Diseñar y validar una estrategia de medida que permita una evaluación a un nivel superior al píxel. La intención que subyace en este objetivo es buscar una aproximación a la evaluación por zonas (objetos) en concordancia con la experiencia de evaluación de un observador humano. El análisis de imágenes basado en objetos (OBIA por sus siglas en inglés), es un área de máxima actualidad en el ámbito del procesado de imágenes que está generando un interés creciente en la comunidad científica. En esta tesis, el objetivo que se persigue al abordar este enfoque OBIA es obtener información más detallada sobre el comportamiento de los algoritmos de fusión en cada objeto que integra la imagen. Esta estrategia exige, como paso previo, la aplicación de técnicas de segmentación que, nuevamente, suponen un tema de máxima actualidad investigadora. 6 Capítulo 1 1.3 Estructura de la memoria De acuerdo con lo expuesto, esta memoria de tesis se estructura de la siguiente manera: En el Capítulo 2 se hace un repaso a la fusión de imágenes en teledetección. Sin pretender ser un tratado sobre esta materia, se introducen los conceptos básicos sobre teledección espacial, el procesado de imágenes multiespectrales y los algoritmos de fusión basados en píxeles. El Capítulo 3 revisa el estado del arte de la medida de calidad en imágenes fusionadas, distinguiendo entre protocolos de medida y algoritmos de evaluación cualitativa de la calidad, espectral, espacial o global. También se describen las propuestas de nuevos índices de calidad desarrolladas en el ámbito de esta investigación, atendiendo a enfoques cualitativos y cuantitativos. La presentación de la metodología propuesta para la evaluación de la robustez y sensibilidad de los índices de calidad es el objetivo del Capítulo 4. En él, se pueden encontrar las imágenes utilizadas como referencia para esta tesis, así como la descripción de las citadas metodologías propuestas con enfoque cualitativo, espectral, espacial o usando imágenes de fusión. Los resultados de la metodología propuesta en Capítulo 4, aplicada a los índices de calidad (Capítulo 3), se exponen en el Capítulo 5 con objeto de analizar la validez de los índices propuestos desde el punto de vista de las distorsiones espectrales o espaciales, así como de los resultados obtenidos al aplicarlos al caso de las imágenes fusionadas. Por último, en el Capítulo 6 se presentan tanto las principales conclusiones y contribuciones, como las líneas futuras de investigación y las publicaciones fruto de este trabajo de tesis doctoral. Introducción 7 1.4. Referencias bibliográficas ALPARONE, L., AIAZZI, B., BARONTI, S. and GARZELLI, A., 2015. Remote Sensing Image Fusion. CRC Press. ALPARONE, L., WALD, L., CHANUSSOT, J., THOMAS, C., GAMBA, P. and BRUCE, L.M., 2007. Comparison of Pansharpening Algorithms: Outcome of the 2006 GRS-S Data-Fusion Contest. Geoscience and Remote Sensing, IEEE Transactions on, 45(10), pp. 3012-3021. BARONTI, S., AIAZZI, B., SELVA, M., GARZELLI, A. and ALPARONE, L., 2011. A Theoretical Analysis of the Effects of Aliasing and Misregistration on Pansharpened Imagery. Selected Topics in Signal Processing, IEEE Journal of, 5(3), pp. 446-453. CHANDLER, D.M., 2013. Seven challenges in image quality assessment: past, present, and future research. ISRN Signal Processing, 2013. CIARAMELLO, F.M. and HEMAMI, S.S., 2007. Can you see me now? an objective metric for predicting intelligibility of compressed american sign language video, Electronic Imaging 2007 2007, International Society for Optics and Photonics, pp. 64920M-64920M-9. JING, L. and CHENG, Q., 2011. An image fusion method for misaligned panchromatic and multispectral data. International Journal of Remote Sensing, 32(4), pp. 1125-1137. KAI, Y. and HONGXU, J., 2011. Optimized-SSIM based quantization in optical remote sensing image compression, Image and Graphics (ICIG), 2011 Sixth International Conference on 2011, IEEE, pp. 117122. KARYBALI, I.G. and BERBERIDIS, K., 2006. Efficient spatial image watermarking via new perceptual masking and blind detection schemes. Information Forensics and Security, IEEE Transactions on, 1(2), pp. 256-274. LAM, T., KARAM, L.J. and ABOUSLEMAN, G.P., 1999. Robust image coding using perceptuallytuned channel-optimized trellis-coded quantization, Circuits and Systems, 1999. 42nd Midwest Symposium on 1999, IEEE, pp. 1131-1134. LEUNG, Y., LIU, J. and ZHANG, J., 2014. An Improved Adaptive Intensity–Hue–Saturation Method for the Fusion of Remote Sensing Images. LILLESAND, T., KIEFER, R.W. and CHIPMAN, J., 2014. Remote sensing and image interpretation. John Wiley & Sons. PADWICK, C., DESKEVICH, M., PACIFICI, F. and SMALLWOOD, S., 2010. WorldView-2 pansharpening, Proceedings of the ASPRS 2010 Annual Conference, San Diego, CA, USA 2010. PALSSON, F., SVEINSSON, J.R., BENEDIKTSSON, J.A. and AANAES, H., 2012. Classification of pansharpened urban satellite images. Selected Topics in Applied Earth Observations and Remote Sensing, IEEE Journal of, 5(1), pp. 281-297. PALUBINSKAS, G., 2015. Joint Quality Measure for Evaluation of Pansharpening Accuracy. Remote Sensing, 7(7), pp. 9292-9310. 8 Capítulo 1 REHMAN, A., ROSTAMI, M., WANG, Z., BRUNET, D. and VRSCAY, E.R., 2012. SSIM-inspired image restoration using sparse representation. EURASIP Journal on Advances in Signal Processing, 2012(1), pp. 1-12. STATHAKI, T., 2011. Image fusion: algorithms and applications. Academic Press. VIRTANEN, T., NUUTINEN, M., VAAHTERANOKSA, M., OITTINEN, P. and HAKKINEN, J., 2015. CID2013: a database for evaluating no-reference image quality assessment algorithms. Image Processing, IEEE Transactions on, 24(1), pp. 390-402. VIVONE, G., ALPARONE, L., CHANUSSOT, J., DALLA MURA, M., GARZELLI, A., LICCIARDI, G.A., RESTAINO, R. and WALD, L., 2015. A critical comparison among pansharpening algorithms. Geoscience and Remote Sensing, IEEE Transactions on, 53(5), pp. 2565-2586. WALTER, B., PATTANAIK, S.N. and GREENBERG, D.P., 2002. Using perceptual texture masking for efficient image synthesis, Computer Graphics Forum 2002, Wiley Online Library, pp. 393-399. WANG, Z. and BOVIK, A.C., 2006. Modern image quality assessment. San Rafael, Calif. Morgan & Claypool Publishers. WINKLER, S., 2005. Digital video quality: vision models and metrics. John Wiley & Sons. XIN HUANG, DAWEI WEN, JUNFENG XIE and LIANGPEI ZHANG, 2014. Quality Assessment of Panchromatic and Multispectral Image Fusion for the ZY-3 Satellite: From an Information Extraction Perspective. Geoscience and Remote Sensing Letters, IEEE, 11(4), pp. 753-757. ZHOU WANG and BOVIK, A.C., 2009. Mean squared error: Love it or leave it? A new look at Signal Fidelity Measures. Signal Processing Magazine, IEEE, 26(1), pp. 98-117. 9 CAPÍTULO 2 Fusión de Imágenes de Satélites de Observación de la Tierra 2.1 Introducción a observación sistemática de nuestro planeta es fundamental para entender, monitorizar y predecir los cambios del sistema global terrestre, así como desarrollar herramientas que posibiliten el desarrollo sostenible del planeta. En la actualidad, los sistemas de observación de la Tierra desde el espacio resultan indispensables en la predicción del tiempo, en el modelado y monitorización del clima, en la agricultura, en la gestión de los recursos marinos y terrestres, en la ayuda para la toma de decisiones en los desastres naturales, y en otras múltiples aplicaciones. Existen multitud de satélites en el espacio observando la Tierra y proporcionando imágenes que contienen cada vez mayor nivel de detalle e información. Dichas imágenes se captan en varias bandas del espectro electromagnético y con diferentes resoluciones espaciales, temporales y radiométricas. En la actualidad, una de las tendencias que ha despertado mayor interés, tanto en la comunidad científica como en la comercial, es la teledetección de alta resolución espacial ya que abre nuevos horizontes y está permitiendo el desarrollo de aplicaciones hasta hace unos años inimaginables. Sin embargo, debido a las limitaciones hardware de los sensores, las imágenes obtenidas con altas resoluciones espaciales tienden a tener bajas resoluciones espectrales y viceversa. Para solventar este problema tecnológico, muchos de los satélites actuales disponen de dos tipos de sensores, uno pancromático ( PAN) y otro multiespectral (MS). El sensor multiespectral capta señales en varias bandas estrechas sobre un campo de visión amplio (menor resolución espacial), mientras que el sensor pancromático registra la energía en una banda espectral ancha pero proporcionando imágenes de mayor resolución espacial. La mayoría de sensores de muy alta resolución proporcionan una banda pancromática de alta resolución espacial y una imagen L 10 Capítulo 2 multiespectral compuesta por 4 o 8 bandas abarcando el visible y el infrarrojo, pero con una resolución espacial típicamente 4 veces menor que la pancromática. Así, la teledetección espacial es uno de los ámbitos donde las técnicas de fusión son aplicables. En este contexto, se presentan, en este capítulo los fundamentos de la observación de la Tierra desde el espacio describiéndose, brevemente, las principales características orbitales de los sensores de muy alta resolución Quickbird, Ikonos y GeoEye, así como sus resoluciones espaciales y temporales, haciendo especial hincapié en las características de las imágenes multiespectrales y pancromática, respectivamente, que han sido los datos fuente empleados para fusionar en este trabajo. Así mismo, se presentan los niveles jerárquicos de procesamiento aplicados, genéricamente, a los principales sistemas de teledetección espacial, específicamente, se analizan, brevemente, aquellos aspectos relacionados con la calibración radiométrica de los datos y las correcciones atmosféricas y del reflejo solar. Finalmente, se realiza una revisión del estado del arte en cuanto a las técnicas de fusión a nivel de píxel y, en particular, se describen en mayor detalle los diferentes algoritmos evaluados en el contexto de esta tesis. 2.2 Teledetección espacial La Teledetección es la ‘ciencia’ que permite obtener información de la superficie terrestre y atmósfera circundante adquiriendo y analizando los datos sin que los instrumentos utilizados para ello estén en contacto físico con el medio. Los actuales sistemas espaciales de teledetección, a diferencia de los existentes en 1972, cuando el primer sistema Landsat fue puesto en órbita, exhiben una extraordinaria diversidad. Existen sistemas de satélites operacionales que muestrean prácticamente todas las regiones del espectro electromagnético, con resoluciones espaciales desde 0.5 a 5000 m. y con resoluciones espectrales del orden de nm. Los sistemas de teledetección, particularmente aquellos ubicados sobre satélites, proporcionan una visión repetitiva y sinóptica de la Tierra de inestimable valor en su monitorización y en el análisis del efecto de las actividades humanas sobre la misma, como puede ser:  Evaluación y monitorización del entorno: crecimiento urbano, residuos peligrosos, etc.  Detección y monitorización de cambios globales: reducción del ozono atmosférico, deforestación, calentamiento global, etc.  Exploración, tanto de recursos no-renovables: minerales, petróleo, gas natural, etc., como de recursos naturales renovables: océanos, bosques, terrenos, etc.  Meteorología: predicción meteorológica, procesos dinámicos atmosféricos, etc.  Mapeado: topografía, utilización de tierras, ingeniería civil, etc. Para atender a las necesidades de los diferentes usuarios de datos, coexisten muchos sistemas de teledetección, ofreciendo un amplio rango de parámetros espaciales, espectrales y temporales. Algunos usuarios pueden requerir coberturas frecuentes, con resoluciones espaciales relativamente bajas (meteorología). Otros usuarios pueden desear la mayor resolución espacial posible con coberturas repetidas sólo infrecuentemente (mapeado); mientras que algunos usuarios necesitan muy alta resolución espacial y cobertura frecuente, además de la disposición Fusión de Imágenes de Satélites de Observación de la Tierra 11 rápida de las imágenes (vigilancia militar). También los datos de teledetección pueden utilizarse para inicializar y validar grandes modelos computacionales, como los modelos climáticos globales (GCMs), con el objetivo de simular y predecir cambios en el entorno de la Tierra. En este caso, puede no ser necesaria una alta resolución espacial debido a los requerimientos computacionales, siendo esencial una calibración del sensor, en espacio y tiempo, precisa y consistente. La era moderna de la teledetección de la Tierra empezó, tal y como se ha comentado, con el primer sistema Landsat multiespectral (MSS) en 1972, que proporcionaba por primera vez imágenes sinópticas y de alta resolución espacial a la comunidad científica mundial, siendo el primer sistema en suministrar imágenes digitales de satélite en tiempo real. A principios de esa década organizaciones tales como NASA (National Aeronautics and Space Administration), JPL (Jet Propulsion Laboratory) y NOAA (National Oceanic and Atmospheric Administration) desarrollaron los fundamentos para el procesamiento de datos multiespectrales. Desde 1972, se han diseñado y operado una amplia variedad de diferentes sensores multiespectrales sobre aviones y satélites. Varios libros sobre teledetección proporcionan un análisis de estos sistemas, presentes y futuros (Schowengerdt 2006, Richards, Richards 1999). En esta última década la teledetección espacial de alta resolución se ha consolidado como herramienta indispensable para la monitorización en múltiples aplicaciones terrestres a escala local. Entre los múltiples sensores multiespectrales de alta resolución espacial embarcados en satélites cabe destacar, desde la óptica de este trabajo, los sensores a bordo de los satélites Ikonos, QuickBird y, GeoEye-1 y, por su utilización en el futuro inmediato, los satélites WorldView-2 y 3, éste último lanzado el 13 de agosto del 2015. Específicamente, los satélites Ikonos, QuickBird y GeoEye-1, con 4 canales multiespectrales y 1 pancromático, con un excelente nivel de detalle, calidad espectral y cobertura global, permiten el análisis e interpretación de la superficie terrestre, especialmente en el ámbito de administración de recursos naturales, evaluación de desastres, planificación urbana, vialidad e infraestructura, telecomunicaciones, agricultura, control del medio ambiente, catastros, cartografía detallada, localización e identificación de zonas urbanas, minería, entre otros. El lanzamiento del satélite WorldView-2 (WV2) a finales del 2009 aportó un nuevo hito en el estado del arte de los satélites de muy alta resolución al proporcionar una resolución espacial de 0.5 m en la banda pancromática (PAN) y 2 m en las ocho canales multiespectrales (MS). WV2 introduce nuevos canales en el dominio óptico del espectro permitiendo examinar los factores oceánicos que afectan a los cambios globales y estudios cuantitativos de la productividad primaria de los océanos, como aplicaciones más relevantes en el marco de la monitorización de aguas litorales (Eugenio, Marcello et al. 2015). En esta misma línea, DigitalGlobe ha apostado por dar continuidad de estos servicios al lanzar el nuevo satélite WorldView-3 (WV3). WV3 mantiene el mismo número de bandas en el rango óptico-NIR mejorando su resolución espacial (0.31 m PAN y 1.24 m en los ochos canales MS ). 18 Capítulo 2 • Calibración radiométrica de los datos Para caracterizar su sensibilidad y respuesta espectral, todos los radiómetros a bordo de los satélites son extensivamente comprobados y radiométricamente calibrados antes del lanzamiento. Uno de los parámetros fundamentales obtenidos durante la calibración prelanzamiento es la función de respuesta espectral de los diferentes canales. Sin embargo, las variaciones térmicas del entorno en la posición orbital del satélite y la degradación de los componentes del instrumento, especialmente la respuesta y sensibilidad de los detectores con el tiempo, requieren de la incorporación de un sistema de calibración dinámico en vuelo. Las correcciones radiométricas son aquellas técnicas que tienen por objeto modificar los niveles digitales de las imágenes procedentes de los sensores de observación de la Tierra, con el fin de corregir los problemas derivados del funcionamiento de los mismos. Esto no sólo incluye la eficiencia cuántica del detector, sino también las pérdidas de transmisión debidas a la óptica del telescopio y a los filtros multiespectrales. La respuesta de radiancia espectral para cada banda se normaliza dividiéndolas por el valor máximo de dicha respuesta en cada banda. • Corrección atmosférica Entre el sensor y la superficie terrestre se interpone la atmósfera, que interactúa de formas diversas con el flujo radiante. La atmósfera está compuesta de distintos gases que producen la absorción de la energía en determinadas bandas del espectro, la dispersión (o scattering) de determinados flujos en función de su longitud de onda y la emisión, inherente a todo cuerpo caliente. Todos estos procesos producen modificaciones en la radiación originalmente propagada entre la cubierta terrestre y el sensor, concretamente (Schowengerdt 2006):  Absorción atmosférica: La atmósfera se comporta como un filtro selectivo que limita la observación remota a longitudes de onda concretas. Los principales gases causantes de este fenómeno son: oxígeno atómico (O2), ozono (O3), vapor de agua y el dióxido de carbónico (CO2). Estos gases reducen la observación espacial a determinadas bandas, conocidas como ventanas atmosféricas, en dónde la transmisividad de la atmósfera es suficientemente alta.  Dispersión atmosférica: El efecto de la dispersión atmosférica resulta un proceso más complejo de resolver, respecto a la absorción atmosférica, ya que está presente en cualquier imagen adquirida por los sensores remotos. Ésta dispersión de la radiación electromagnética es causada por la interacción entre ésta y los gases y partículas atmosféricas en suspensión. Cuando se pretende convertir los valores digitales de una imagen a parámetros físicos, es importante considerar este factor, especialmente en análisis multitemporales.  Emisión atmosférica: Al igual que cualquier cuerpo por encima del cero absoluto, la atmósfera emite energía calorífica, por lo que este parámetro debe considerarse, fundamentalmente, en aquellos trabajos que se realicen dentro del infrarrojo térmico. Generalmente, en los métodos facilitados para la conversión de las imágenes de niveles digitales a valores de reflectividad, no se suele considerar la influencia de la atmósfera, asumiendo, adicionalmente, que se trata de un terreno plano y una observación vertical. Estas consideraciones limitan considerablemente los resultados en el análisis de parámetros físicos sobre una imagen, ya que no se está midiendo realmente la reflectividad de la superficie. Por Fusión de Imágenes de Satélites de Observación de la Tierra 19 ello, se hace necesario plantear un modelado de la influencia atmosférica. Así, las bases teóricas de las estrategias de corrección atmosférica tienen sus orígenes en la década de los 70. Desde entonces, se han propuesto diferentes técnicas para aplicar correcciones atmosféricas a los datos espaciales (Eugenio, Marcello et al. 2015). Estas pueden ser agrupadas en:  Utilización de un modelo atmosférico mediante soluciones numéricas de la ecuación de transferencia radiativa.  Eliminar los efectos atmosféricos por un método multimirada.  Eliminar los efectos atmosféricos por un método multibanda. • Corrección reflejo solar Un problema importante que se ha de resolver, específicamente en las aplicaciones marinas mediante satélites de observación de la Tierra, con imágenes de alta resolución, es el brillo reflejado del sol en las olas. Este reflejo, en imágenes de muy alta resolución y en presencia de oleaje, produce una gran cantidad de ruido en la imagen, representado una degradación de la caracterización espectral del lecho marino. Aunque en las zonas de la imagen donde se detectan el brillo solar parecen estar compuesta casi enteramente por la señal reflejada en la superficie, el componente asociado con la radiancia saliente del agua (reflejada en el fondo marino) puede ser recuperable. En este contexto, han sido desarrollados diferentes métodos conceptualmente sencillo, denominados en la literatura científica “deglinting”, aplicable a imágenes de satélite de alta resolución (Hedley, Harborne et al. 2005). 2.4 Algoritmos de fusión a nivel de píxel 2.4.1 Introducción La fusión puede definirse como la combinación simultanea de información procedente de fuentes distintas que se complementan y cuyo resultado permite mejorar la calidad y la interpretabilidad de los datos originales. En el contexto de la teledetección, la fusión consiste en la combinación de dos o más imágenes con el fin de obtener una nueva imagen que contenga la información deseada de cada una de ellas. Este proceso de fusión puede llevarse a cabo a distintos niveles: de píxel, de objeto y de decisión (Stathaki 2008, Zhang 2010). La fusión a nivel de píxel es el nivel de procesado más bajo y consiste en generar una imagen fusionada donde la información asociada a cada píxel se obtiene a partir de los píxeles de las imágenes de origen. La fusión a nivel de objeto se basa en la extracción previa de los objetos en las imágenes origen en base a criterios como tamaño, forma o vecindad, empleando técnicas de segmentación. Finalmente, la fusión a nivel de decisión consiste en fusionar la información al nivel más alto de abstracción. Así, las imágenes fuente son procesadas independientemente para extraer la información que a continuación se combina aplicando reglas de decisión para reforzar la interpretación común. La teledetección espacial es uno de los ámbitos donde las técnicas de fusión son aplicables. En este contexto, hoy en día existen multitud de plataformas espaciales proporcionando 20 Capítulo 2 imágenes que contienen cada vez mayor nivel de detalle e información. Como se ha mencionado, debido a las limitaciones hardware de los sensores ópticos de alta resolución, los satélites actuales proporcionan una banda pancromática de alta resolución espacial y varias bandas multiespectrales a menor resolución espacial. En este escenario, una de las herramientas de procesado novedosas, y que presentan gran interés por parte de la comunidad científica, son las técnicas de fusión a nivel de píxel o pansharpening, que permiten obtener imágenes de varias bandas del espectro con el máximo nivel de detalle espacial. Así, el principal objetivo de la fusión a nivel de píxel consiste en la aplicación de algoritmos de procesado para mejorar la resolución espacial de las diferentes bandas multiespectrales sin alterar sus características espectrales (Li, Lixin et al. 2012). A modo de ejemplo, en la Figura 2.4 se muestra una composición en color verdadero, generada a partir de las bandas del satélite Quickbird, donde se aprecia la mejora espacial obtenida gracias a la aplicación de técnicas de fusión a nivel de píxel. (a) (b) Figura 2.4. Composición en color a partir de las bandas del satélite Quickbird: (a) imagen multiespectral original, y, (b) imagen tras la aplicación de técnicas de pansharpening. En función del algoritmo de fusión aplicado se obtendrán imágenes con mayor o menor calidad espacial, pero estableciéndose siempre un compromiso entre ésta y la calidad espectral de la imagen fusionada, ya que cuanto mayor será la cantidad de información proveniente de la imagen pancromática que se le inyecta a la multiespectral mejor será su calidad espacial, pero también mayor será la distorsión de las características espectrales de la multiespectral original y viceversa. En la mayoría de los casos, el objetivo es obtener una imagen con una resolución espacial próxima a la de la imagen pancromática, introduciendo la mínima distorsión espectral posible. De forma genérica, el proceso básico para la fusión de imágenes multiespectrales y pancromáticas de un mismo sensor es el que se muestra en la Figura 2.5. Lógicamente, y como paso previo a la fusión, es importante garantizar la perfecta registración de las diferentes imágenes. Se aprecia que la primera transformación consiste en la interpolación para ajustar el tamaño de la MS al de la PAN , para seguidamente aplicar el algoritmo de fusión correspondiente. Fusión de Imágenes de Satélites de Observación de la Tierra 21 2.4.2 Revisión del estado del arte La fusión de imágenes a nivel de píxel es un campo de investigación muy activo. Si bien, es verdad que desde hace bastantes años se habían comenzado a estudiar, es a partir del año 2000 cuando ha despertado un interés creciente asociado a la disponibilidad de datos procedentes de satélites de alta resolución. Figura 2.5. Diagrama de bloques genérico del proceso de fusión a nivel de píxel entre las bandas MS y PAN. Existen diferentes formas de clasificar los distintos algoritmos de fusión (Kpalma, ElMezouar et al. 2013, Amro, Mateos et al. 2011, Zhang 2010). A continuación se muestra una de ellas atendiendo a los detalles de su implementación: • Métodos basados en operaciones algebraicas: las imágenes fusionadas se obtienen como resultado de operaciones aritméticas entre bandas de la imagen MS y la PAN . • Métodos basados en sustitución de componentes: el principio teórico de estos métodos es la realización de una transformación de la imagen MS original en una serie de componentes transformadas, de tal forma que al sustituir una de dichas componentes por la imagen PAN y realizar la operación de transformación inversa se consiga una imagen fusionada de alta resolución espectral y espacial. • Métodos basados en la inyección de altas frecuencias: estos métodos se basan en extraer las componentes de alta frecuencia de la imagen PAN , por ejemplo usando un filtrado paso alto, que posteriormente se inyectan a la MS . • Métodos basados en el análisis multiresolución: estas técnicas descomponen las bandas MS y PAN a diferentes escalas para extraer los detalles espaciales que se importan a las bandas MS a la escala más fina. Los métodos basados en la transformada wavelet discreta son los algoritmos más empleados en este ámbito de la fusión de imágenes. Con independencia de la clasificación utilizada por diversos autores, en la actualidad se dispone de un gran número de algoritmos de fusión (Vivone, Alparone et al. 2015, Amro, Mateos et al. 2011, Marcello-Ruiz, Rodríguez-Esparragón et al. 2011, Ehlers, Klonus et al. Bn B3 B2 MS B1 Bn B3 B2 MS B1 PAN Bn B3 B2 FUS B1 Algoritmo de Fusión remuestreo 22 Capítulo 2 2010, Stathaki 2008) principalmente aplicados para la fusión de imágenes ópticas e IR cercanas. En sus inicios, las técnicas más populares fueron las basadas en operaciones aritméticas, destacando los algoritmos de Brovey, Synthetic Variable Ratio o Ratio Enhancement, y las basadas en la sustitución de bandas tras la aplicación de un transformada, destacando el Análisis de Componentes Principales (PCA, Principal Component Analysis), la transformada Intensidad-Brillo-Saturación (IHS, Intensity-Hue-Saturation) o el algoritmo Gram-Schmidt (GS). La utilización de estos algoritmos está muy extendida dada la baja complejidad computacional que presentan. Sin embargo, proporcionan imágenes fusionadas de menor calidad espectral, es decir cuyo color presenta distorsiones respecto al color de las imágenes multiespectrales originales. Esto impide su uso en diferentes aplicaciones en el área de la teledetección, como son la clasificación de imágenes o la detección de cambios. Más recientemente, para el tratamiento de datos de satélite de nuevos sensores con mayor número de bandas, como es el caso de Worldview-2 o de los sensores hiperespectrales, se ha desarrollado nuevos algoritmos como, por ejemplo, el Hyperspecral Colour Sharpening (HCS) (Li, He et al. 2013, Padwick, Deskevich et al. 2010). Para solventar las limitaciones espectrales de los algoritmos mencionados, surgieron técnicas que inyectan la información de alta frecuencia, destacando los métodos HPF (HighPass-Filtering), HPM (High-Pass-Modulation) o el basado en la aplicación de filtros paso alto en el dominio de Fourier (Lillo‐Saavedra, Gonzalo et al. 2005). Sin embargo, los métodos que utilizan el análisis multiresolución, y fundamentalmente la Transformada Wavelet Discreta (TWD), son los más populares para disminuir la distorsión espectral. En particular, para lograr resultados óptimos de fusión, diversos esquemas basados en wavelets han sido propuestos por varios investigadores(Hong, Zhang 2008, Amolins, Zhang et al. 2007, Lillo‐ Saavedra, Gonzalo 2006), destacando los algoritmos de Mallat y À trous, cuya principal diferencia se refiere al sentido en el que se realiza la estrategia multiresolución, pues en el primer caso se diezma la imagen mientras que para À trous no se aplica ningún diezmado. Posteriormente, otras transformadas como Curvelets, Ridgelets o Contourlets se han propuesto como alternativas más eficientes, desde el punto de vista de la representación de la información, que la TWD (Lillo‐Saavedra, Gonzalo 2007, Nencini, Garzelli et al. 2007, Xiao-Bo, Jing-Wen et al. 2008, Zhang, Guo 2009). Estas nuevas transformadas permiten una extracción eficaz del detalle espacial en diferentes direcciones pero son computacionalmente muy complejas. Otra estrategia seguida ha sido también la combinación de diferentes esquemas de fusión que puedan lograr una mejor calidad de los resultados, intentando aprovechar los beneficios de cada técnica individual. Así, por ejemplo, algunos investigadores han combinado con éxito la transformada IHS o PCA y la transformada Wavelet para intentar conseguir mejores resultados espaciales y espectrales (González-Audícana, Otazu et al. 2004). De otra parte, también se han desarrollado algoritmos basados en técnicas que permiten controlar el compromiso entre la calidad espacial y la espectral en las imágenes fusionadas, a partir de la medida de una serie de índices de calidad (Lillo‐Saavedra, Gonzalo 2006) o utilizando bancos de filtros direccionales (Lillo‐Saavedra, Gonzalo 2007). Otra línea de investigación ha sido la definición de algoritmos de fusión basados en las respuestas espectrales de los sensores. Sin embargo, éstos dependen considerablemente del grado de solapamiento entre los anchos de bandas de las diferentes bandas espectrales del Fusión de Imágenes de Satélites de Observación de la Tierra 23 sensor. Todos estos algoritmos tienen la característica común de que inyectan la misma cantidad de detalle proveniente de la imagen pancromática, independientemente del tipo de cubierta, lo que provoca la aparición de ciertos artefactos en la imagen fusionada. Este efecto se agudiza con la mejora de la resolución espacial de las imágenes fuentes. En la literatura se pueden encontrar diferentes aproximaciones al problema. (Lillo-Saavedra, Gonzalo et al. 2011) propusieron un método de fusión basado en la TWD, en el que se ponderaba de forma local la cantidad de detalle procedente de la imagen pancromática que se inyectaba en cada punto de cada una de las bandas de la imagen multiespectral original. Como se ha destacado, un aspecto clave, y en permanente investigación, es la evaluación y cuantificación de la calidad de las imágenes fusionadas (Zhang 2008, Makarau, Palubinskas et al. 2012, Marcello, Medina et al. 2013). En este sentido, y como se analizará en el Capítulo 3, recientemente se han desarrollado una serie de métricas o índices de calidad con el objetivo de medir la calidad espacial y espectral de las imágenes fusionadas y para permitir la comparación entre diversos algoritmos de fusión. Sin embargo, varios autores han demostrado que no siempre suponen una comparación fiable y sigue siendo otra línea abierta de investigación en la que se ha centrado este trabajo de tesis. 2.4.3 Descripción de los algoritmos de pan-sharpening analizados En el ámbito de este trabajo de tesis se han seleccionados los algoritmos de pan-sharpening que a continuación se detallan para llevar a cabo el proceso de evaluación de la calidad espacial y espectral empleando las métricas existentes y las nuevas propuestas. Se han seleccionado algoritmos pertenecientes a diferentes categorías y, en especial, aquellos cuyo comportamiento espectral y espacial es conocido al estar ampliamente documentado en la literatura científica. Hay que destacar que el objetivo es fusionar imágenes para analizar las prestaciones de los índices de calidad. • Método de Brovey Es un algoritmo de bajo coste computacional basado en operaciones aritméticas y que da como resultado imágenes de buena calidad espacial, pero baja calidad espectral. Utiliza un método que multiplica cada píxel de la imagen multiespectral por la relación entre la intensidad de cada píxel de la pancromática y la suma de las intensidades de todas las bandas de la multiespectral. Fue originariamente diseñado para imágenes de satélites de tres bandas (composiciones RGB). Así, la transformada de Brovey (Hallada, Cox 1983) inicial puede ser implementada según la expresión matemática siguiente: 𝑅𝑅𝐹𝐹𝐹𝐹𝐹𝐹=3∙𝑅𝑅 𝑅𝑅+𝐺𝐺+𝐵𝐵∙𝑃𝑃𝑃𝑃𝑃𝑃 𝐺𝐺𝐹𝐹𝐹𝐹𝐹𝐹=3∙𝐺𝐺 𝑅𝑅+𝐺𝐺+𝐵𝐵∙𝑃𝑃𝑃𝑃𝑃𝑃 𝐵𝐵𝐹𝐹𝐹𝐹𝐹𝐹=3∙𝐵𝐵 𝑅𝑅+𝐺𝐺+𝐵𝐵∙𝑃𝑃𝑃𝑃𝑃𝑃 (2.1) donde RFUS GFUS y BFUS son las bandas fusionadas y PAN es la pancromática. 24 Capítulo 2 Al realizar la implementación del algoritmo ha de tenerse en cuenta que los valores a utilizar deben estar normalizados para evitar desbordamientos de rango. A continuación se muestra la ecuación extendida del algoritmo para imágenes con N bandas: 𝑃𝑃𝑁𝑁𝐹𝐹𝐹𝐹𝐹𝐹,𝑏𝑏𝑏𝑏=𝑃𝑃𝐵𝐵∙𝑃𝑃𝑁𝑁𝑏𝑏𝑏𝑏 𝑃𝑃𝑁𝑁𝑏𝑏1+𝑃𝑃𝑁𝑁𝑏𝑏2+⋯+𝑃𝑃𝑁𝑁𝑏𝑏𝑏𝑏𝑏𝑏∙𝑃𝑃𝑁𝑁𝑃𝑃𝑃𝑃𝑏𝑏 (2.2) donde: NB es el número de bandas espectrales. NDFUS,bi es el valor digital de la banda fusionada i. NDbi es el valor digital de la banda multiespectral i. NDPAN es el valor digital de la banda PAN . • Método IHS Esta técnica recibe su nombre de las iniciales en inglés I (Intensity), H (Hue) y S (Saturation) y es una de las más antiguas y eficientes utilizadas actualmente para la fusión de imágenes (Chavez, Sides et al. 1991). En este algoritmo se parte de la idea de que el color de cada píxel de una imagen se expresa a partir de sus componentes R, G, B, es decir, de su contenido en rojo, verde y azul. Del mismo modo, el color de ese píxel puede expresarse a partir de su intensidad I, brillo H y saturación S. Por tanto, este método de fusión se basa en la representación de las imágenes a través de sus componentes I, H y S, teniendo la ventaja de que la información espacial y espectral de una imagen expresada de este modo puede manipularse de forma independiente, ya que la información espacial está concentrada en la componente I, mientras que las componentes H y S contienen información espectral. Existen distintos modelos de cálculo de las componentes IHS propuestos por distintos autores, cada uno de ellos calcula la componente I de una forma distinta (Sonka et al. 2014). El algoritmo de fusión IHS se aplica de la siguiente manera (Figura 2.6). Las bandas RGB multiespectrales reescaladas se transforman en componentes IHS. Por otro lado, el histograma de la imagen pancromática se ajusta al de la componente I de la imagen multiespectral, siendo esta componente I sustituida por la banda PAN ajustada. Con esta sustitución se consigue añadir la información espacial de la imagen pancromática a la multiespectral. Por último, aplicando la transformación inversa IHS-RGB se obtienen las nuevas bandas RGB de la imagen fusionada. Fusión de Imágenes de Satélites de Observación de la Tierra 25 Figura 2.6. Algoritmo de fusión IHS. Entre las ventajas de este algoritmo de fusión se encuentran su simplicidad y su baja carga computacional. Uno de los principales inconvenientes de este método es su limitación a imágenes multiespectrales de 3 bandas, además de la distorsión de los valores espectrales de la imagen multiespectral original (González-Audícana, García et al. 2002). A pesar de ello, existen ampliaciones del algoritmo que permiten su aplicación a un mayor número de bandas, como es el caso del método de fusión IHS generalizado o extendido (eFIHS) (Tu, Huang et al. 2004). Este método reduce notablemente el coste computacional, además de permitir extender el número de bandas. Si operamos sobre las ecuaciones de la transformada IHS, la transformación puede ser extendida de tres a cuatro bandas, donde las nuevas bandas fusionadas se obtienen como sigue: �𝑅𝑅𝐹𝐹𝐹𝐹𝐹𝐹 𝐺𝐺𝐹𝐹𝐹𝐹𝐹𝐹 𝐵𝐵𝐹𝐹𝐹𝐹𝐹𝐹 𝑃𝑃𝑁𝑁𝑅𝑅𝐹𝐹𝐹𝐹𝐹𝐹�=�𝑅𝑅+𝛿𝛿 𝐺𝐺+𝛿𝛿 𝐵𝐵+𝛿𝛿 𝑃𝑃𝑁𝑁𝑅𝑅+𝛿𝛿� (2.3) donde δ=PAN−I y con I=(R+G+B+NIR)/4 . Con este método de fusión, la diferencia radiométrica obtenida entre la PAN y la I es menor, siendo menor también el cambio en la componente S y consecuentemente la distorsión espectral de la imagen fusionada resultante. Además, como se puede apreciar, el proceso de fusión ha quedado reducido a realizar operaciones de suma y resta. • Método PCA La mayoría de los sensores MS recogen información en bandas adyacentes del espectro electromagnético, lo que habitualmente implica detectar información redundante, ya que muchas de las cubiertas existentes sobre la superficie terrestre tienden a presentar comportamientos similares en regiones próximas del espectro. 26 Capítulo 2 El análisis en componente principales, también denominado transformación PCA (de sus siglas en inglés Principal Component Analysis) o transformada de Karhunen-Loève o Hotelling (Shettigara 1992), crea nuevas bandas a partir de las originales, llamadas componentes principales (CP), no correlacionadas entre sí, que reorganizan la información original. Con las componentes principales se elimina esa información redundante entre componentes, de forma que la primera CP se define como la dirección a lo largo de la cual la varianza de los datos tiene su máximo. Es decir, la esencia del análisis en componentes principales es la transformación de un conjunto de variables correladas en un nuevo conjunto de variables incorreladas. El método de fusión PCA (Shettigara 1992) es similar al IHS en cuanto a que se basa en la transformación de las bandas de la imagen multiespectral en una serie de componentes, para luego sustituir una de ellas por la imagen pancromática adaptada, buscando de esta manera añadir la información espacial a la espectral. Tal y como se puede observar en la Figura 2.7, el proceso a seguir para desarrollar este método de fusión es el que se presenta a continuación. En primer lugar se obtienen tantas componentes principales como bandas tenga la imagen multiespectral. De este modo, la CP1 contiene información espacial, y las CP restantes la información espectral. A continuación, se iguala el histograma de la imagen pancromática al de la primera componente principal CP1, es decir, a aquella que contiene información relativa al conjunto de las bandas. La imagen pancromática modificada (una vez ajustado su histograma) sustituye a la primera componente principal CP1. Aplicando a estas bandas la transformación inversa se obtienen las bandas de la imagen fusionada. Figura 2.7. Algoritmo de fusión PCA. Una de las ventajas de este método es que, a diferencia del IHS, no está limitado a imágenes de 3 bandas, sino que puede utilizarse para un número ilimitado de bandas. Sin embargo, introduce distorsión espectral en la imagen fusionada. Esto es así pues se parte de la base de que tras la transformación PCA, la disociación entre información espacial y espectral de la imagen multiespectral es total, pero esto no es así. Fusión de Imágenes de Satélites de Observación de la Tierra 27 Computacionalmente este algoritmo de fusión es pesado, ya que implica la realización del cálculo de la matriz de covarianza, el cálculo de los autovalores y autovectores y diversas operaciones algebraicas (producto de matrices, matrices inversas, transposiciones, etc.). • Transformada discreta de Wavelet El mayor inconveniente de los métodos anteriores es que modifican la información espectral de las bandas MS originales, lo que puede suponer un problema, por ejemplo si las imágenes fusionadas resultantes se van a emplear para la obtención de información temática vía clasificación espectral. El análisis multirresolución (MRA, por sus siglas en inglés) se basa en la teoría según la cual el análisis de una imagen y la búsqueda de patrones son más eficientes si la imagen es analizada a diferentes niveles de resolución. El MRA permite descomponer datos bidimensionales en componentes de distinta frecuencia para estudiar cada una de estas componentes a una resolución espacial acorde con su tamaño. De esta forma, en cada resolución, la información de detalle (componentes de alta frecuencia) caracteriza distintas estructuras. Este método se ha convertido en una herramienta de gran aplicación en el desarrollo de nuevos métodos de fusión. A lo largo de los años, se han propuesto nuevos métodos de fusión empleando el MRA basado en las transformaciones wavelet discretas (TWD), que permiten minimizar el problema anteriormente citado. La aproximación discreta de la transformada wavelet puede realizarse a partir de distintos algoritmos. Dos de los más empleados en la fusión de imágenes de teledetección son los algoritmos de Mallat y À trous. Cada uno, con diferentes propiedades matemáticas, conduce a distintas descomposiciones y por lo tanto, a distintas imágenes fusionadas. Algoritmo de Mallat La base del algoritmo de Mallat (Mallat 1989) es la descomposición de las imágenes en una imagen de aproximación de menos resolución espacial que la original y unos coeficientes de detalle vertical, horizontal y diagonal. Este proceso se lleva a cabo en la llamada fase de análisis. Esta técnica se basa en el uso de dos filtros unidimensionales llamados filtros de cuadratura, uno paso bajo y otro paso alto, seguidos de operaciones de muestreo. Como resultado de esta fase de análisis, se obtienen cuatro nuevas imágenes a menor resolución. La primera se denomina imagen de aproximación y contiene la información espectral de la imagen original y las tres restantes se denominan coeficientes de detalle y recogen la información espacial (horizontal, vertical y diagonal) que la imagen pierde al pasar de la resolución original a la mitad de resolución. A partir de la imagen de aproximación y los tres coeficientes wavelet de detalle, puede reconstruirse exactamente la imagen original, es lo que se denomina la fase de síntesis. Como se muestra en la Figura 2.8, el algoritmo de Mallat se puede entender como una pirámide cuya base es la imagen original y a medida que se asciende de nivel se hace una aproximación de la imagen con menos resolución espacial, siendo ésta menor cuanto más alto sea el nivel de la pirámide. 34 Capítulo 2 2.6 Referencias Bibliográficas AMOLINS, K., ZHANG, Y. and DARE, P., 2007. Wavelet based image fusion techniques — An introduction, review and comparison. ISPRS Journal of Photogrammetry and Remote Sensing, 62(4), pp. 249-263. AMRO, I., MATEOS, J., VEGA, M., MOLINA, R. and KATSAGGELOS, A., 2011. A survey of classical methods and new trends in pansharpening of multispectral images. EURASIP Journal on Advances in Signal Processing, 2011(1), pp. 1-22. CHAVEZ, P., SIDES, S.C. and ANDERSON, J.A., 1991. Comparison of three different methods to merge multiresolution and multispectral dataLandsat TM and SPOT panchromatic. Photogrammetric Engineering and Remote Sensing, 57(3), pp. 295-303. DUTILLEUX, P., 1989. An implementation of the “algorithme à trous” to compute the wavelet transform. Wavelets. Springer, pp. 298-304. EHLERS, M., KLONUS, S., JOHAN ÅSTRAND, P. and ROSSO, P., 2010. Multi-sensor image fusion for pansharpening in remote sensing. International Journal of Image and Data Fusion, 1(1), pp. 2545. EUGENIO, F., MARCELLO, J. and MARTIN, J., 2015. High-Resolution Maps of Bathymetry and Benthic Habitats in Shallow-Water Environments Using Multispectral Remote Sensing Imagery. Geoscience and Remote Sensing, IEEE Transactions on, 53(7), pp. 3539-3549. GONZÁLEZ-AUDÍCANA, M., GARCÍA, R. and SECO, A., 2002. Fusión de imágenes multiespectrales y pancromáticas: nuevas alternativas metodológicas basadas en las transformaciones wavelet discretas empleando el algoritmo de Mallat. Revista de Teledetección, 18, pp. 63-73. GONZÁLEZ-AUDÍCANA, M., OTAZU, X., FORS, O., SECO, A. and GARCÍA, R., 2004. Bondad de los algoritmos de descomposición Wavelet de Mallat y ‘à trous’ para la fusión de imágenes QuickBird. Revista de Teledetección, 21, pp. 79-84. GONZÁLEZ-AUDÍCANA, M., 2007. Métodos clásicos de fusión de Imágenes de satélite, I Jornadas de Fusión. Asociación Española de Teledetección. 2007. HALLADA, W.A. and COX, S., 1983. Image sharpening for mixed spatial and spectral resolution satellite systems, International Symposium on Remote Sensing of Environment, 17 th, Ann Arbor, MI 1983, pp. 1023-1032. HEDLEY, J., HARBORNE, A. and MUMBY, P., 2005. Technical note: Simple and robust removal of sun glint for mapping shallow‐water benthos. International Journal of Remote Sensing, 26(10), pp. 2107-2112. HONG, G. and ZHANG, Y., 2008. Comparison and improvement of wavelet‐based image fusion. International Journal of Remote Sensing, 29(3), pp. 673-691. JENSEN, J.R. and LULLA, K., 1987. Introductory digital image processing: a remote sensing perspective. Fusión de Imágenes de Satélites de Observación de la Tierra 35 KPALMA, K., EL-MEZOUAR, M.C. and TALEB, N., 2013. Recent Trends in Satellite Image Pansharpening techniques, 1st International Conference on Electrical, Electronic and Computing Engineering 2013. LI, X., HE, M. and ZHANG, L., 2013. Hyperspherical color transform based pansharpening method for WorldView-2 satellite images, Industrial Electronics and Applications (ICIEA), 2013 8th IEEE Conference on 2013, IEEE, pp. 520-523. LI, X., LIXIN, L. and MINGYI, H., 2012. A Novel Pansharpening Algorithm for WorldView-2 Satellite Images, International Conference on Industrial and Intelligent Information (ICIII 2012) 2012, pp. 17-18. LILLESAND, T., KIEFER, R.W. and CHIPMAN, J., 2014. Remote sensing and image interpretation. John Wiley & Sons. LILLO‐SAAVEDRA, M., GONZALO, C., ARQUERO, A. and MARTINEZ, E., 2005. Fusion of multispectral and panchromatic satellite sensor imagery based on tailored filtering in the Fourier domain. International Journal of Remote Sensing, 26(6), pp. 1263-1268. LILLO‐SAAVEDRA, M. and GONZALO, C., 2007. Multispectral images fusion by a joint multidirectional and multiresolution representation. International Journal of Remote Sensing, 28(18), pp. 4065-4079. LILLO‐SAAVEDRA, M. and GONZALO, C., 2006. Spectral or spatial quality for fused satellite imagery? A trade‐off solution using the wavelet à trous algorithm. International Journal of Remote Sensing, 27(7), pp. 1453-1464. LILLO-SAAVEDRA, M., GONZALO, C. and LAGOS, O., 2011. Toward reduction of artifacts in fused images. International Journal of Applied Earth Observation and Geoinformation, 13(3), pp. 368375. MAKARAU, A., PALUBINSKAS, G. and REINARTZ, P., 2012. Analysis and selection of pansharpening assessment measures. Journal of Applied Remote Sensing, 6(1), pp. 063548-1-063548-20. MALLAT, S.G., 1989. A theory for multiresolution signal decomposition: the wavelet representation. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 11(7), pp. 674-693. MARCELLO, J., MEDINA, A. and EUGENIO, F., 2013. Evaluation of Spatial and Spectral Effectiveness of Pixel-Level Fusion Techniques. Geoscience and Remote Sensing Letters, IEEE, 10(3), pp. 432-436. MARCELLO-RUIZ, J., RODRÍGUEZ-ESPARRAGÓN, D. and EUGENIO-GONZÁLEZ, F., 2011. Identificación y análisis de técnicas de fusión en imágenes de satélites de muy alta resolución, 2011, pp. 525-528. NENCINI, F., GARZELLI, A., BARONTI, S. and ALPARONE, L., 2007. Remote sensing image fusion using the curvelet transform. Information Fusion, 8(2), pp. 143-156. PADWICK, C., DESKEVICH, M., PACIFICI, F. and SMALLWOOD, S., 2010. WorldView-2 pansharpening, Proceedings of the ASPRS 2010 Annual Conference, San Diego, CA, USA 2010. RICHARDS, J.A. and RICHARDS, J., 1999. Remote sensing digital image analysis. Springer. 36 Capítulo 2 SCHOWENGERDT, R.A., 2006. Remote sensing: models and methods for image processing. Academic press. SHETTIGARA, V., 1992. A generalized component substitution technique for spatial enhancement of multispectral images using a higher resolution data set. Photogrammetric Engineering and Remote Sensing, 58(5), pp. 561-567. STATHAKI, T., 2008. Image fusion : algorithms and applications. London [etc.] : (xxk): Academic Press,. TU, T., HUANG, P.S., HUNG, C. and CHANG, C., 2004. A fast intensity-hue-saturation fusion technique with spectral adjustment for IKONOS imagery. Geoscience and Remote Sensing Letters, IEEE, 1(4), pp. 309-312. VIVONE, G., ALPARONE, L., CHANUSSOT, J., DALLA MURA, M., GARZELLI, A., LICCIARDI, G.A., RESTAINO, R. and WALD, L., 2015. A critical comparison among pansharpening algorithms. Geoscience and Remote Sensing, IEEE Transactions on, 53(5), pp. 2565-2586. XIAO-BO, Q., JING-WEN, Y., HONG-ZHI, X. and ZI-QIAN, Z., 2008. Image fusion algorithm based on spatial frequency-motivated pulse coupled neural networks in nonsubsampled contourlet transform domain. Acta Automatica Sinica, 34(12), pp. 1508-1514. ZHANG, Q. and GUO, B., 2009. Multifocus image fusion using the nonsubsampled contourlet transform. Signal Processing, 89(7), pp. 1334-1346. ZHANG, Y., 2008. Methods for image fusion quality assessment-a review, comparison and analysis. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 37, pp. 11011109. ZHANG, J., 2010. Multi-source remote sensing data fusion: status and trends. International Journal of Image & Data Fusion, 1(1), pp. 5-24. 37 CAPÍTULO 3 Medidas de la calidad de imágenes fusionadas 3.1 Introducción ste capítulo se organiza en dos bloques. En primer lugar, se revisa el estado del arte de las medidas de calidad de imágenes fusionadas. En segundo lugar, se exponen las propuestas de medidas que han resultado de la investigación efectuada durante el desarrollo de esta tesis doctoral. El estado del arte (apartado 3.2) constituye el marco teórico necesario para centrar este trabajo. En él se repasan las técnicas de evaluación de calidad específicas para el problema de pan-sharpening, así como los procedimientos para aplicarlas. Esta revisión se perfila desde dos perspectivas coordinadas: la evolución histórica de las aproximaciones a la resolución del problema de la calidad y el impacto de estas soluciones en función de sus citaciones en publicaciones de referencia y del empleo de los enfoques que se extraen de ellas. En otras palabras, la pertinente revisión bibliográfica está guiada a la vez por un hilo temporal y de calidad de las publicaciones. El apartado 3.3 recoge la definición de los nuevos enfoques para este problema que se han planteado y validado durante la fase de investigación de esta tesis doctoral. A pesar de que desde el inicio de este trabajo se plantearon unos objetivos claros, su desarrollo empujó a una aproximación hacia soluciones desde distintas perspectivas tal y como se intentará expresar en este epígrafe. Lamentablemente, no existe una notación estándar que se emplee en las publicaciones de referencia de este campo del proceso de imágenes. En consecuencia, se considera pertinente empezar este capítulo por una aclaración al respecto. E 38 Capítulo 3 • Notación Denominaremos imagen de intensidad, 𝑥𝑥, de dimensiones 𝑀𝑀𝑥𝑥𝑀𝑀, a un conjunto de píxeles asociados a una variable bidimensional 𝑥𝑥(𝑚𝑚,𝑛𝑛), representando 𝑥𝑥𝑖𝑖 un píxel particular (cuando sea necesario 𝑥𝑥(𝑖𝑖)). Dadas dos imágenes de intensidad {𝑥𝑥,𝑦𝑦} de la misma resolución espacial 𝑀𝑀𝑥𝑥𝑀𝑀, definimos sus valores de intensidad media representados por {𝑥𝑥,𝑦𝑦�} como: 𝑥𝑥=1 𝑀𝑀𝑁𝑁�𝑥𝑥𝑖𝑖 𝑁𝑁𝑁𝑁 𝑖𝑖=1 , 𝑦𝑦�=1 𝑀𝑀𝑁𝑁�𝑦𝑦𝑖𝑖 𝑁𝑁𝑁𝑁 𝑖𝑖=1 (3.1), (3.2) donde 𝑀𝑀𝑁𝑁=𝑀𝑀.𝑀𝑀 representa el número total de píxeles de ambas imágenes. La varianza de una imagen es la variación del valor de intensidad de los píxeles con respecto a su valor medio. Las expresiones de las desviaciones típicas de las imágenes {𝑥𝑥,𝑦𝑦}, notadas por �𝜎𝜎𝑥𝑥,𝜎𝜎𝑦𝑦� que corresponden con las raíces cuadradas de las varianzas, son: 𝜎𝜎𝑥𝑥=�1 𝑀𝑀𝑁𝑁−1�(𝑥𝑥𝑖𝑖−𝑥𝑥)2 𝑁𝑁𝑁𝑁 𝑖𝑖=1 , σy=�1 NP −1�(yi−y�)2 NP i=1 (3.3), (3.4) Se define la covarianza 𝜎𝜎𝑥𝑥𝑦𝑦entre las imágenes {𝑥𝑥,𝑦𝑦} como: 𝜎𝜎𝑥𝑥𝑦𝑦=1 𝑀𝑀𝑁𝑁−1�(𝑥𝑥𝑖𝑖−𝑥𝑥). (𝑦𝑦𝑖𝑖−𝑦𝑦�) 𝑁𝑁𝑁𝑁 𝑖𝑖=1 (3.5) La variable de dos dimensiones 𝑁𝑁𝑃𝑃𝑀𝑀(𝑚𝑚,𝑛𝑛), que corresponde a una imagen pancromática se representa abreviadamente como 𝑁𝑁𝑃𝑃𝑀𝑀 (cuando sea necesario 𝑁𝑁𝑃𝑃𝑀𝑀(𝑖𝑖)) Del mismo modo las variables tridimensionales 𝑀𝑀𝑀𝑀(𝑚𝑚,𝑛𝑛,𝑘𝑘) y 𝐹𝐹𝐹𝐹𝑀𝑀(𝑚𝑚,𝑛𝑛,𝑘𝑘), que corresponden a la imagen multiespectral, remuestreada a la resolución espacial de la pancromática, y a la imagen fusionada aparecerán como 𝑀𝑀𝑀𝑀𝑘𝑘 y 𝐹𝐹𝐹𝐹𝑀𝑀𝑘𝑘 respectivamente (cuando sea necesario 𝑀𝑀𝑀𝑀𝑘𝑘(𝑖𝑖), 𝐹𝐹𝐹𝐹𝑀𝑀𝑘𝑘(𝑖𝑖)), donde k representa las bandas espectrales de cada imagen. Algunos autores enfocan el problema central de las medidas de la calidad al de encontrar una distancia entre las características espectrales y espaciales de la imagen FUS con las de las Medidas de la calidad de imágenes fusionadas 39 imágenes de referencias 𝑀𝑀𝑀𝑀 y 𝑁𝑁𝑃𝑃𝑀𝑀 (Thomas, Wald 2006). Este cálculo usualmente se obtiene como una distancia de Minkowski (Ec. (3.6)), correlación (Ec. (3.7), (3.8) ) u otra combinación de estadísticos o, un cálculo de producto escalar (Ec. (3.9)). La distancia de Minkowski, 𝐸𝐸𝑝𝑝(𝑥𝑥,𝑦𝑦) de orden 𝑝𝑝 entre dos imágenes {𝑥𝑥,𝑦𝑦} queda definida por la expresión (3.6). Obsérvese que 𝑝𝑝= 1 representa la diferencia en valor absoluto de ambas imágenes, y 𝑝𝑝= 2 la distancia euclídea. 𝐸𝐸𝑝𝑝(𝑥𝑥,𝑦𝑦) = �(|𝑥𝑥𝑖𝑖−𝑦𝑦𝑖𝑖|𝑝𝑝)1𝑝𝑝 𝑁𝑁𝑁𝑁 𝑖𝑖=1 (3.6) Las ecuaciones (3.7), (3.8) permiten calcular el coeficiente de correlación de Pearson, 𝐶𝐶𝐶𝐶(𝑥𝑥,𝑦𝑦), entre dos imágenes {𝑥𝑥,𝑦𝑦}. 𝐶𝐶𝐶𝐶(𝑥𝑥,𝑦𝑦)=𝜎𝜎𝑥𝑥𝑦𝑦 𝜎𝜎𝑥𝑥.𝜎𝜎𝑦𝑦, 𝐶𝐶𝐶𝐶(𝑥𝑥,𝑦𝑦)=1 𝑁𝑁𝑁𝑁−1∑(𝑥𝑥𝑖𝑖−𝑥𝑥). (𝑦𝑦𝑖𝑖−𝑦𝑦�) 𝑁𝑁𝑁𝑁 𝑖𝑖=1 �1 𝑁𝑁𝑁𝑁−1∑(𝑥𝑥𝑖𝑖−𝑥𝑥)2 𝑁𝑁𝑁𝑁 𝐼𝐼=1 .�1 NP−1∑(yi−y�)2 NP I=1 (3.7), (3.8) Por último, suponiendo que 𝑥𝑥(𝑚𝑚,𝑛𝑛,𝑘𝑘) y 𝑦𝑦(𝑚𝑚,𝑛𝑛,𝑘𝑘) son dos imágenes de dimensiones 𝑀𝑀𝑥𝑥𝑀𝑀 y con un número de bandas 𝑀𝑀𝑁𝑁, podemos definir un producto escalar 𝑥𝑥(𝑖𝑖). 𝑦𝑦(𝑖𝑖) entre cada píxel de las imágenes según: 𝑥𝑥(𝑖𝑖). 𝑦𝑦(𝑖𝑖) = ∑𝑥𝑥(𝑖𝑖)𝑘𝑘.𝑦𝑦(𝑖𝑖)𝑘𝑘 𝑁𝑁𝑁𝑁 𝑘𝑘=1 �∑𝑥𝑥(𝑖𝑖)𝑘𝑘2 𝑁𝑁𝑁𝑁 𝑘𝑘=1 .�∑𝑦𝑦(𝑖𝑖)𝑘𝑘2 𝑁𝑁𝑁𝑁 𝑘𝑘=1 (3.9) Se podrá comprobar que muchas de las medidas utilizadas habitualmente responden a alguno de estos esquemas o a alguna otra combinación de estadísticos de la imagen. Obsérvese que las ecuaciones (3.6), (3.7), (3.8) proporcionan como resultado un único valor numérico, mientras que la ecuación (3.9) un valor por cada píxel de la imagen. Aplicando esta idea a la interpretación de la calidad, en el primer caso quedaría representada por un número, y, en el segundo, por una nueva imagen o mapa de calidad. 40 Capítulo 3 3.2 Revisión del estado del arte Tal y como ya se ha comentado, la medida de la calidad de las imágenes fusionadas no es un problema trivial debido a la inexistencia de imágenes de referencia multiespectrales a la mayor resolución espacial buscada. También, porque el contenido de la información espacial de la imagen 𝑁𝑁𝑃𝑃𝑀𝑀 no se encuentra separado por bandas espectrales. Durante los últimos años se han propuesto distintos protocolos, índices o medidas (Thomas 2005) que intentan evaluar la calidad de las imágenes fusionadas. En estas propuestas, las distorsiones espaciales (distorsiones geométricas) y espectrales (distorsiones de color y radiométricas) se evalúan usando tanto índices intrabandas como entrebandas. En esta revisión del estado del arte se distingue entre protocolos y medidas de calidad. Se entiende por protocolo al procedimiento que se ejecuta para evaluar la calidad, que puede ser independiente o no de las medidas que se emplean para ello. 3.2.1 Protocolos de medida Como se ha mencionado, la necesidad de evaluar tanto la calidad espectral como espacial, así como la ausencia de imágenes de referencia a la escala de la imagen 𝑁𝑁𝑃𝑃𝑀𝑀 y con información de frecuencias espaciales separadas por bandas, ha exigido el desarrollo particular de protocolos de medidas específicos así como métricas de calidad aplicadas a esta área de trabajo. • Protocolo de Wald. Los primeros trabajos de referencia se deben a Wald et al. quienes propusieron las tres propiedades siguientes para evaluar las prestaciones de los algoritmos de fusión (Wald, Ranchin et al. 1997): - Cualquier imagen sintética (fusionada), una vez degradada a su resolución original, debería ser lo más parecida posible a la imagen original. - Cualquier imagen sintética debería ser tan idéntica como sea posible a la imagen que el sensor observaría con la máxima resolución (a la resolución de la 𝑁𝑁𝑃𝑃𝑀𝑀). - El conjunto multiespectral de imágenes sintéticas (imagen multiespectral) debería ser tan idéntico como sea posible al conjunto multiespectral de imágenes que el sensor correspondiente observaría con la máxima resolución. La primera propiedad se suele denominar de consistencia y las dos siguientes de síntesis. La verificación de la segunda y tercera propiedad no es trivial, como consecuencia de que no existen imágenes multiespectrales de referencia con la resolución espacial buscada. Con la intención de resolver los problemas anteriormente planteados, unido a la ausencia de imágenes multiespectrales de referencia, estos autores propusieron un protocolo (conocido como protocolo Wald), para evaluar la calidad de datos de los resultados de fusión Medidas de la calidad de imágenes fusionadas 41 (Wald, Ranchin et al. 1997). Este protocolo se basa en los tres pasos representados en el esquema en la Figura 3.1: Figura 3.1. Protocolo de Wald. - Diezmar tanto la imagen 𝑁𝑁𝑃𝑃𝑀𝑀 como la 𝑀𝑀𝑀𝑀 por el mismo factor. - Fusionar la imagen 𝑀𝑀𝑀𝑀 en esta escala. - Comparar la imagen fusionada con la imagen 𝑀𝑀𝑀𝑀 original. En el artículo original de Wald et al. se detalla la medida conocida como 𝐸𝐸𝐸𝐸𝐸𝐸𝑃𝑃𝑀𝑀 (apartado 3.2.2) como el método a aplicar para la evaluación de la calidad. Una observación directa de la propuesta anterior es la asunción de que el funcionamiento de los algoritmos de fusión es invariante al escalado espacial de la imagen. Al contrario, podemos pensar que una reducción de la escala espacial puede eliminar detalles de la escena imposibles, por tanto, de reconstruir en la imagen fusionada. Por otro lado, el protocolo se dirige a la evaluación de la calidad espectral, despreciando la importancia de la componente espacial. En conclusión, se puede decir que este protocolo es válido para evaluar el buen funcionamiento de los algoritmos de fusión, pero no la calidad de las imágenes fusionadas. • Protocolo de Zhou Como una alternativa al protocolo de Wald, Zhou et al. proponen un protocolo de medida de calidad de la fusión a la escala de la imagen fusionada sin ninguna degradación (Zhou, Civco et al. 1998). Este protocolo se basa en los siguientes criterios observables a su vez en el esquema de la Figura 3.2: - Tanto la calidad espectral como la espacial se evalúan usando métricas distintas a partir de los datos disponibles: en primer lugar desde las bandas 𝑀𝑀𝑀𝑀 de baja resolución y, en segundo lugar, desde la imagen 𝑁𝑁𝑃𝑃𝑀𝑀 de alta resolución. - La evaluación de la calidad espectral se realiza para cada banda calculando una diferencia absoluta acumulativa ente las imágenes fusionadas y las imágenes 𝑀𝑀𝑀𝑀 de partida. Calidad Espectral Algoritmo de Fusión Evaluación de la calidad 42 Capítulo 3 - La evaluación de la calidad espacial se obtiene por el coeficiente de correlación (𝐶𝐶𝐶𝐶) calculado entre el detalle espacial de la imagen 𝑁𝑁𝑃𝑃𝑀𝑀 y cada una de las bandas 𝑀𝑀𝑀𝑀 fusionadas. El detalle espacial, según estos autores, se extrae usando un filtro Laplaciano, dando lugar al conocido como índice espacial de Zhou (apartado 3.2.2). Figura 3.2. Protocolo de Zhou. • Protocolo QNR Más recientemente, Alparone et al. propusieron en (Alparone 2008) el índice 𝑄𝑄𝑀𝑀𝐸𝐸 (Quality with No Reference). Es un índice que trata de medir, a la vez, la calidad espectral y espacial sin aplicar diezmado y pretendía superar las dificultades que encontraron al uso del protocolo de Zhou. En primer lugar, las dos medidas de calidad (espectral y espacial) siguen tendencias opuestas. En segundo lugar, en la escala diezmada, los resultados que se obtienen puede que no coincida con los índices de calidad objetivos. El 𝑄𝑄𝑀𝑀𝐸𝐸 computa tanto las distorsión espacial como la espectral a partir del índice 𝑄𝑄 de Wang and Bovik (Zhou Wang, Bovik 2002). Tal y como se describirá posteriormente, este índice combina el coeficiente de correlación con la distorsión de luminancia y contraste. Las Ec. (3.10), (3.11) y (3.12) describen la formulación del índice 𝑄𝑄𝑀𝑀𝐸𝐸. La Figura 3.3 muestra la secuencia del protocolo de medida de calidad de imagen tras esta propuesta. Calidad espectral Algoritmo de Fusión Evaluación calidad espectral Evaluación calidad espacial Calidad espacial Medidas de la calidad de imágenes fusionadas 43 Figura 3.3. Protocolo QNR. 𝑄𝑄𝑀𝑀𝐸𝐸= (1 −𝐷𝐷𝜆𝜆)𝛼𝛼(1 −𝐷𝐷𝑠𝑠)𝛽𝛽 (3.10) 𝐷𝐷𝜆𝜆=�1 𝑁𝑁𝑁𝑁(𝑁𝑁𝑁𝑁−1)∑ ∑ �𝑄𝑄�𝐸𝐸�𝑙𝑙,𝐸𝐸�𝑟𝑟�−𝑄𝑄(𝐸𝐸�𝑙𝑙,𝐸𝐸�𝑟𝑟)�𝑝𝑝 𝐿𝐿𝑟𝑟=1 𝑁𝑁𝑁𝑁 𝑙𝑙=1 𝑝𝑝) (3.11) 𝐷𝐷𝑠𝑠=�1 𝑁𝑁𝑁𝑁∑�𝑄𝑄�𝐸𝐸�𝑙𝑙,𝑁𝑁�−𝑄𝑄(𝐸𝐸�𝑙𝑙,𝑁𝑁�)�𝑝𝑝 𝑁𝑁𝑁𝑁 𝑙𝑙=1 𝑞𝑞) (3.12) En la Ec. (3.10) 𝛼𝛼,𝛽𝛽 son dos exponentes que determinan la contribución de la distorsión espectral,𝐷𝐷𝜆𝜆, y espacial, 𝐷𝐷𝑠𝑠, a la calidad total. 𝑀𝑀𝑁𝑁, es el número de bandas de la imagen multiespectral; y p determina el tipo de distancia que se calcula. La distorsión espectral, según la Ec. (3.11), se calcula a través de la diferencia de los valores de los índices 𝑄𝑄 (Ec. (3.37) y (3.38)) calculados entre las bandas fusionadas, primero,�𝐸𝐸�𝑙𝑙�𝑙𝑙=1 𝐿𝐿 y, en segundo lugar, entre las bandas de la multiespectral de baja resolución �𝐸𝐸�𝑙𝑙�𝑙𝑙=1 𝐿𝐿. 𝑁𝑁 en la Ec. (3.12) representa la imagen 𝑁𝑁𝑃𝑃𝑀𝑀 y 𝑁𝑁� es una versión degradada de la imagen 𝑁𝑁𝑃𝑃𝑀𝑀 obtenida tras un filtrado paso bajo con frecuencia normalizada de corte igual a la relación entre las resoluciones de las imágenes 𝑀𝑀𝑀𝑀 y 𝑁𝑁𝑃𝑃𝑀𝑀, seguido de un diezmado. • Protocolo de Khan Khan et al. en (Khan, Alparone et al. 2009) introducen una metodología para la evaluación de la calidad de imágenes fusionadas considerando la respuesta del filtro digital equivalente al del sensor de captura de datos (MTF). Se inspiran en el 𝑄𝑄𝑀𝑀𝐸𝐸, que no requiere una imagen MS de referencia de alta resolución (reescalada) y proporciona dos índices separados para la calidad espectral y espacial respectivamente. La calidad espectral es medida de forma análoga a la sugerida por Wald en su primera propiedad (consistencia), mientras que se usa una versión modificada del índice espacial de Zhou. Dλ Algoritmo de Fusión Evaluación calidad espectral (Q) Evaluación calidad espacial (Q) Filtrado Paso Bajo Evaluación calidad global Calidad Global 50 Capítulo 3 Existen otras medidas que pretenden calcular un índice global de 𝐸𝐸𝐸𝐸𝐸𝐸𝑃𝑃𝑀𝑀, como el 𝐸𝐸𝐸𝐸𝐸𝐸𝑃𝑃𝑀𝑀 promedio, que obtiene la media entre los 𝐸𝐸𝐸𝐸𝐸𝐸𝑃𝑃𝑀𝑀 espectral y espacial, o la diferencia de 𝐸𝐸𝐸𝐸𝐸𝐸𝑃𝑃𝑀𝑀, que simplemente los resta. • Índices Q y Q4 Wang y Bovik propusieron en 2002 un índice de calidad universal llamado índice 𝑄𝑄 (Zhou Wang, Bovik 2002). Su intención era que la aproximación a la medida de calidad no dependiese de las imágenes que se estaban analizando, las condiciones de visualización o de observadores individuales. Adicionalmente, pretendían que se pudiese utilizar en varias aplicaciones de proceso de imagen y proporcionase una comparación llena de significado a través de diferentes tipos de distorsiones de imágenes. Por último, disponer de un índice que substituyera a los usados extensamente hasta entonces, el error cuadrático medio (𝐸𝐸𝐶𝐶𝑀𝑀) y relación señal a ruido de pico (𝑁𝑁𝑀𝑀𝑀𝑀𝐸𝐸) que pueden inducir a error de medida. Para calculare el índice 𝑄𝑄 se utiliza la Ec. (3.37): 𝑄𝑄=4. 𝜎𝜎𝑥𝑥𝑦𝑦.𝑥𝑥. � � � � 𝑦𝑦� �𝜎𝜎𝑥𝑥2+𝜎𝜎𝑦𝑦2�+[(𝑥𝑥2+𝑦𝑦�2)] (3.37) donde 𝑥𝑥 e 𝑦𝑦 son las imágenes entre las que se está evaluando la calidad. 𝑥𝑥,𝑦𝑦� son respectivamente los valores medios de intensidad de las imágenes 𝑥𝑥 e 𝑦𝑦. Por último 𝜎𝜎𝑥𝑥𝑦𝑦 es la covarianza entre 𝑥𝑥 e 𝑦𝑦, y 𝜎𝜎2𝑥𝑥, 𝜎𝜎2𝑦𝑦 corresponden a la varianza de las imágenes 𝑥𝑥 e 𝑦𝑦. La Ec. (3.37) es una métrica RC tal y como se definió anteriormente. No obstante, cuando se aplica a la comparación entre la imagen FUS y la MS no es así debido a sus diferentes resoluciones. Se puede reescribir como: 𝑄𝑄=𝜎𝜎𝑥𝑥𝑦𝑦 𝜎𝜎𝑥𝑥𝜎𝜎𝑦𝑦.2𝑥𝑥𝑦𝑦� 𝑥𝑥2+𝑦𝑦�2.2𝜎𝜎𝑥𝑥𝜎𝜎𝑦𝑦 𝜎𝜎𝑥𝑥2+𝜎𝜎𝑦𝑦2 (3.38) En la Ec.(3.38) el primer factor representa la pérdida de correlación, el segundo la distorsión de luminancia y el tercero la distorsión de contraste. Alparone et al. toman el índice 𝑄𝑄 de Wang y Bovick y lo aplican al problema de la medida de la calidad en imágenes fusionadas multiespectrales (Alparone, Baronti et al. 2004), definiendo el índice de calidad 𝑄𝑄4 y considerando imágenes multiespectrales de cuatro bandas como un cuaternión, esto es, un número hipercomplejo, tal y como se formula en la Ec. (3.39). 𝑧𝑧𝑙𝑙=𝑝𝑝𝑙𝑙+𝑖𝑖.𝑏𝑏𝑙𝑙+𝑗𝑗.𝑐𝑐𝑙𝑙+𝑘𝑘.𝑑𝑑𝑙𝑙 (3.39) donde 𝑝𝑝, 𝑏𝑏, 𝑐𝑐 y 𝑑𝑑 representan las imágenes de intensidad que corresponden a cada banda mulitespectral. Medidas de la calidad de imágenes fusionadas 51 La Ec. (3.40) muestra como queda formulado el índice 𝑄𝑄4 que evaluaría la calidad de una imagen fusionada comparando con la multiespectral. 𝑧𝑧1,𝑧𝑧2 representan a la imagen fusionada y la multiespectral o viceversa. 𝑄𝑄4=4. �𝜎𝜎𝑧𝑧1𝑧𝑧2�.|𝑧𝑧1 �|.|𝑧𝑧2 �| �𝜎𝜎𝑧𝑧12+𝜎𝜎𝑧𝑧22�+ (|𝑧𝑧1 �|2+|𝑧𝑧2 �|2) (3.40) Garzelli el al. generalizan el índice 𝑄𝑄4 a cualquier número par de bandas, denominando a este índice generalizado 𝑄𝑄2𝑛𝑛 (Garzelli, Nencini et al. 2007). En Ec. (3.41) se puede observar su expresión. Según los autores, se demuestra que los números hipercomplejos son una herramienta que permite evaluar la calidad de las imágenes fusionadas y, en concreto, el índice propuesto encapsula en una única medida las distorsiones espectrales y espaciales. 𝑄𝑄𝑁𝑁𝑥𝑥𝑁𝑁=𝜎𝜎𝑧𝑧𝑧𝑧 𝜎𝜎𝑧𝑧𝜎𝜎𝑧𝑧.2𝑧𝑧𝑣𝑣 𝑧𝑧2+𝑣𝑣2.2𝜎𝜎𝑧𝑧𝜎𝜎𝑧𝑧 𝜎𝜎𝑧𝑧2+𝜎𝜎𝑧𝑧2 (3.41) En Ec. (3.41), 𝑧𝑧,𝑣𝑣 representan a la imagen fusionada y la multiespectral o viceversa como números hipercomplejos. Los tres elementos del producto tienen el mismo significado que los mencionados para la Ec. (3.38). La Ec. (3.41) se ejecuta en bloques de 𝑚𝑚𝑥𝑥𝑛𝑛 elementos. El valor de la calidad de la imagen será el promedio de todos los bloques de la imagen. Una aplicación en bloques de las métricas de calidad permite considerar posibles variaciones zonales de la calidad (Wang, Bovik 2006). Algunos autores consideran como nuevos protocolos de medida de calidad a estos indicadores. Sin embargo, estas dos aproximaciones, se pueden considerar una modificación del protocolo del Wald, dado que excluyen la información espacial de la PAN como referencia para la medida. En este sentido, se suelen encontrar como índices de carácter global. • Índice de similitud estructural (𝑺𝑺𝑺𝑺𝑺𝑺𝑺𝑺) Wang et al. definieron un nuevo índice de medida de la calidad de imagen basado en el sistema visual humano denominado 𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀 (de sus iniciales en inglés, Structural Similarity Index). Consideraban que el índice propuesto representaba una implementación particular de la filosofía de similitud estructural desde el punto de vista de la formación de una imagen (Zhou Wang, Bovik et al. 2004). El propósito de los autores no era desarrollar un índice específico aplicado a la fusión de imágenes. Básicamente, buscaban una aproximación diferente al problema de la medida de la calidad de imágenes basado en la habilidad del sistema visual humano (SVH) de extraer información estructural de las imágenes que percibe. La Ec. (3.42) corresponde a la formulación original del 𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀. 𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀(𝑥𝑥,𝑦𝑦)=[𝑙𝑙(𝑥𝑥,𝑦𝑦)]𝛼𝛼.[𝑐𝑐(𝑥𝑥,𝑦𝑦)]𝛽𝛽. [𝑚𝑚(𝑥𝑥,𝑦𝑦)]𝛾𝛾 (3.42) 52 Capítulo 3 De acuerdo a la Ec. (3.42), el índice SSIM se define como el producto de 3 componentes. La primera está relacionada con la luminancia, la segunda con el contraste y la tercera con la estructura de las imágenes. Los superíndices 𝛼𝛼, 𝛽𝛽 y 𝛾𝛾 son valores positivos y priorizan una componente frente a otra, es decir, permiten definir la importancia de cada uno de las tres componentes de la expresión. La aplicación a la fusión de imágenes es inmediata realizando la evaluación entre las imágenes 𝐹𝐹𝐹𝐹𝑀𝑀 y 𝑀𝑀𝑀𝑀. En la primera componente, la luminancia se estima a partir de la intensidad media de las imágenes y su expresión es la siguiente: 𝑙𝑙(𝑀𝑀𝑀𝑀,𝐹𝐹𝐹𝐹𝑀𝑀) = 2. 𝑀𝑀𝑀𝑀 � � � � .𝐹𝐹𝐹𝐹𝑀𝑀 � � � � � � +𝐶𝐶1 (𝑀𝑀𝑀𝑀 � � � � )2+ (𝐹𝐹𝐹𝐹𝑀𝑀 � � � � � � )2+𝐶𝐶1 (3.43) donde 𝑀𝑀𝑀𝑀 � � � � y 𝐹𝐹𝐹𝐹𝑀𝑀 � � � � � � son la intensidad media de las imágenes 𝑀𝑀𝑀𝑀 y 𝐹𝐹𝐹𝐹𝑀𝑀 respectivamente. La constante 𝐶𝐶1 evita la inestabilidad en el caso de que la intensidad media de las imágenes sea 0. Su expresión es: 𝐶𝐶1= (𝐾𝐾1.𝑄𝑄)2 (3.44) siendo 𝑄𝑄 el rango dinámico del valor de intensidad de los píxeles (1 si las imágenes están normalizadas, es decir, si el valor de intensidad está entre 0 (negro) y 1 (blanco)), y 𝐾𝐾1 una constante << 1. En la segunda componente, el contraste se estima a partir de la desviación estándar de las imágenes, y su expresión es: 𝑐𝑐(𝑀𝑀𝑀𝑀,𝐹𝐹𝐹𝐹𝑀𝑀) = 2. 𝜎𝜎𝑀𝑀𝑀𝑀.𝜎𝜎𝑀𝑀𝐹𝐹𝑀𝑀+𝐶𝐶2 𝜎𝜎2𝑀𝑀𝑀𝑀+𝜎𝜎2𝑀𝑀𝐹𝐹𝑀𝑀+𝐶𝐶2 (3.45) donde 𝜎𝜎𝑀𝑀𝑀𝑀 es la desviación típica de la imagen multiespectral y 𝜎𝜎𝑀𝑀𝐹𝐹𝑀𝑀 la desviación típica de la imagen fusionada. La constante 𝐶𝐶2 satisface la igualdad 𝐶𝐶2= (𝐾𝐾2.𝑄𝑄)2 y 𝐾𝐾<< 1 es una constante que previene la inestabilidad de la expresión. El tercer término consiste en la comparación entre la estructura de las imágenes, y coincide con el coeficiente de correlación. Para ello se sirve de la desviación estándar de cada una de las imágenes y de la covarianza entre ellas. Por tanto, la expresión de la tercera componente es: 𝑚𝑚(𝑀𝑀𝑀𝑀,𝐹𝐹𝐹𝐹𝑀𝑀) = 𝜎𝜎𝑀𝑀𝑀𝑀𝑀𝑀𝐹𝐹𝑀𝑀+𝐶𝐶3 𝜎𝜎𝑀𝑀𝑀𝑀.𝜎𝜎𝑀𝑀𝐹𝐹𝑀𝑀+𝐶𝐶3 (3.46) donde 𝜎𝜎𝑀𝑀𝑀𝑀𝑀𝑀𝐹𝐹𝑀𝑀 es la covarianza entre la imagen multiespectral y la fusionada, 𝜎𝜎𝑀𝑀𝑀𝑀 es la desviación típica de la imagen multiespectral, 𝜎𝜎𝑀𝑀𝐹𝐹𝑀𝑀 la desviación típica de la imagen fusionada y 𝐶𝐶3 es una constante de valor 𝐶𝐶3=𝐶𝐶2/2. Medidas de la calidad de imágenes fusionadas 53 Según los autores, estos 3 términos descritos anteriormente son independientes, es decir, un cambio de brillo o de contraste no generará un cambio en la estructura de la imagen. En cuanto a los superíndices mencionados al comienzo de este apartado, suele asignárseles el valor unidad, de modo que todas las componentes de la expresión tengan asociada la misma relevancia. Si 𝛼𝛼 = 𝛽𝛽 = 𝛾𝛾 = 1, la expresión del índice 𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀 resulta: 𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀=2. 𝑀𝑀𝑀𝑀 � � � � .𝐹𝐹𝐹𝐹𝑀𝑀 � � � � � � +𝐶𝐶1 (𝑀𝑀𝑀𝑀 � � � � )2+ (𝐹𝐹𝐹𝐹𝑀𝑀 � � � � � � )2+𝐶𝐶1 . 2. 𝜎𝜎𝑀𝑀𝑀𝑀.𝜎𝜎𝑀𝑀𝐹𝐹𝑀𝑀+𝐶𝐶2 𝜎𝜎2𝑀𝑀𝑀𝑀+𝜎𝜎2𝑀𝑀𝐹𝐹𝑀𝑀+𝐶𝐶2 . 𝜎𝜎𝑀𝑀𝑀𝑀𝑀𝑀𝐹𝐹𝑀𝑀+𝐶𝐶3 𝜎𝜎𝑀𝑀𝑀𝑀.𝜎𝜎𝑀𝑀𝐹𝐹𝑀𝑀+𝐶𝐶3 (3.47) Sabiendo que 𝐶𝐶3=𝐶𝐶2/2, podemos poner Ec. (3.47) en función de 𝐶𝐶2: 𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀=2. 𝑀𝑀𝑀𝑀 � � � � .𝐹𝐹𝐹𝐹𝑀𝑀 � � � � � � +𝐶𝐶1 (𝑀𝑀𝑀𝑀 � � � � )2+ (𝐹𝐹𝐹𝐹𝑀𝑀 � � � � � � )2+𝐶𝐶1 . 2. 𝜎𝜎𝑀𝑀𝑀𝑀.𝜎𝜎𝑀𝑀𝐹𝐹𝑀𝑀+𝐶𝐶2 𝜎𝜎2𝑀𝑀𝑀𝑀+𝜎𝜎2𝑀𝑀𝐹𝐹𝑀𝑀+𝐶𝐶2 . 2. 𝜎𝜎𝑀𝑀𝑀𝑀𝑀𝑀𝐹𝐹𝑀𝑀+𝐶𝐶2 2. 𝜎𝜎𝑀𝑀𝑀𝑀.𝜎𝜎𝑀𝑀𝐹𝐹𝑀𝑀+𝐶𝐶2 (3.48) Si 𝐶𝐶1 = 𝐶𝐶2 = 0, la expresión del índice SSIM coincide con la del índice 𝑄𝑄. Para calcular el 𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀, primero se obtiene el resultado para cada una de las bandas espectrales, y después se calcula la media, de modo que su expresión final es: 𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀=1 𝑀𝑀𝑁𝑁�2. 𝑀𝑀𝑀𝑀 � � � � 𝑘𝑘.𝐹𝐹𝐹𝐹𝑀𝑀 � � � � � � 𝑘𝑘+𝐶𝐶1 (𝑀𝑀𝑀𝑀 � � � � 𝑘𝑘)2+ (𝐹𝐹𝐹𝐹𝑀𝑀 � � � � � � 𝑘𝑘)2+𝐶𝐶1 . 2. 𝜎𝜎𝑀𝑀𝑀𝑀𝑘𝑘.𝜎𝜎𝑀𝑀𝐹𝐹𝑀𝑀𝑘𝑘+𝐶𝐶2 𝜎𝜎2𝑀𝑀𝑀𝑀𝑘𝑘+𝜎𝜎2𝑀𝑀𝐹𝐹𝑀𝑀𝑘𝑘+𝐶𝐶2 . 2. 𝜎𝜎𝑀𝑀𝑀𝑀𝑀𝑀𝐹𝐹𝑀𝑀𝑘𝑘+𝐶𝐶2 2. 𝜎𝜎𝑀𝑀𝑀𝑀𝑘𝑘.𝜎𝜎𝑀𝑀𝐹𝐹𝑀𝑀𝑘𝑘+𝐶𝐶2 𝑁𝑁𝑁𝑁 𝑘𝑘=1 (3.49) El valor del índice 𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀 pertenece al intervalo [-1,1], siendo su valor ideal 1, de modo que, cuanto menor es, peor es la calidad de la imagen fusionada. Este índice mide la calidad estructural de la imagen, de modo que será útil para detectar aquellas distorsiones que hayan afectado a la estructura de la imagen (por ejemplo ruido, desenfoque y compresión), además de modificaciones del histograma. También se consideran índices globales los ya referidos protocolos 𝑄𝑄𝑀𝑀𝐸𝐸 y 𝐽𝐽𝑄𝑄𝑀𝑀. En la Tabla 3.1 se puede observar un resumen de los índices abordados en este capítulo así como sus características. 54 Capítulo 3 Tabla 3.1. Resumen de medidas de calidad. Índice Carácter Valor Ideal Ecuación 𝑀𝑀𝐶𝐶 Espectral 1 Ec. (3.26) 𝑀𝑀𝑃𝑃𝑀𝑀 Espectral 0 Ec. (3.27) 𝐸𝐸𝐸𝐸𝐸𝐸𝑃𝑃𝑀𝑀 espectral Espectral 0 Ec. (3.28) 𝑍𝑍ℎ𝑐𝑐𝑜𝑜 Espacial 1 Ec. (3.33) 𝐸𝐸𝐸𝐸𝐸𝐸𝑃𝑃𝑀𝑀 espacial Espacial 0 Ec. (3.34) 𝑄𝑄 Global 1 Ec. (3.38) 𝑄𝑄4 Global 1 Ec. (3.40) 𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀 Global 1 Ec. (3.49) 𝑄𝑄𝑀𝑀𝐸𝐸 Global 1 Ec. (3.10) 𝐸𝐸𝐸𝐸𝐸𝐸𝑃𝑃𝑀𝑀 Global Global 0 Ec. (3.36) 𝐽𝐽𝑄𝑄𝑀𝑀 Global 1 Ec. (3.23) 3.2.5 Otras aproximaciones Los métodos y protocolos de medida ya presentados son los más referenciados en actas de congresos o artículos de revistas en el área de trabajo de esta investigación. No obstante, se puede constatar el uso de otras métricas aplicadas en áreas de investigación afines y desarrollos tangenciales. • Otros índices espaciales Como se puede deducir de la lectura anterior que detallaba los índices de calidad, el número de indicadores espaciales, aplicados al problema del pan-sharpening, es bajo si se contrasta con los espectrales. Sin embargo, es posible recurrir a formulaciones de comparación de contenido de altas frecuencias empleadas en otros campos del proceso de imágenes. En la Tabla 3.2 aparecen reflejados dos indicadores que se utilizarán en capítulos posteriores aplicados a la evaluación de los índices de calidad espacial basada en trasformaciones geométricas sobre las imágenes de referencia. Se han seleccionado con objeto de disponer de mayor cantidad de observaciones numéricas a partir de las que contrastar las hipótesis de trabajo. Se trata concretamente del Error Cuadrático Medio tras aplicar un filtro de Sobel (S-RMSE) y de la Correspondencia de Bordes Canny (CEC). Medidas de la calidad de imágenes fusionadas 55 Tabla 3.2. Índices adicionales empleados para la evaluación basada en transformaciones geométricas. Índice de Calidad Expresión matemática Características Dominio Valor Esperado Referencias Error cuadrático medio tras filtro Sobel 𝑀𝑀−𝐸𝐸𝑀𝑀𝑀𝑀𝐸𝐸 =1 𝑀𝑀𝑁𝑁�1 𝑀𝑀𝑁𝑁��(𝑁𝑁𝑃𝑃𝑀𝑀𝑀𝑀(𝑖𝑖)−𝐹𝐹𝐹𝐹𝑀𝑀𝑘𝑘𝑆𝑆(𝑖𝑖) 𝑁𝑁𝑁𝑁 𝑖𝑖=1 )2 𝑁𝑁𝑁𝑁 𝑘𝑘=1 (3.50) Mide la cantidad de distorsión espacial de cada píxel. [0, Inf) Menor valor posible Witharana13 Gangkofner08 Pradhan-06 Correspondencia de Bordes Canny 𝐶𝐶𝐸𝐸𝐶𝐶=1 𝑀𝑀𝑁𝑁�∑𝑁𝑁𝑃𝑃𝑀𝑀𝐶𝐶𝐶𝐶.𝐹𝐹𝐹𝐹𝑀𝑀𝑘𝑘𝐶𝐶𝐶𝐶 𝑁𝑁𝑁𝑁 𝑖𝑖=1∑𝑁𝑁𝑃𝑃𝑀𝑀𝐶𝐶𝐶𝐶 𝑁𝑁𝑁𝑁 𝑖𝑖=1 𝑁𝑁𝑁𝑁 𝑘𝑘=1 (3.51) Comparación banda a banda de los bordes detectados en la PAN original y en la FUS. [0,100]% Tan cercano a 100% como sea posible Witharana13 Canny-86 • Medida basada en el SSIM . Asumiendo que el sistema visual humano se adapta altamente a la extracción de información estructural de una escena, Han presenta una nueva aproximación a partir del 𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀 para medir la calidad de las imágenes fusionadas en escala de grises y color (Han 2012). El propósito de su trabajo es la medida de la calidad de las imágenes fusionadas RC. Aun así, sus resultados pueden ser trasladados al ámbito de esta investigación. Específicamente propone una métrica a partir de una función que intenta determinar el peso local de cada una de las imágenes que participan en el proceso de fusión (Han 2012). La formulación de este peso aparece en la Ec. (3.57). 𝜆𝜆𝑥𝑥(𝜔𝜔)=𝑚𝑚(𝑥𝑥|𝜔𝜔) 𝑚𝑚(𝑥𝑥|𝜔𝜔)+𝑚𝑚(𝑦𝑦|𝜔𝜔) (3.52) donde 𝑚𝑚(𝑥𝑥|𝜔𝜔) y 𝑚𝑚(𝑦𝑦|𝜔𝜔) denotan alguna relevancia de la imagen 𝑥𝑥 e 𝑦𝑦 en la ventana 𝜔𝜔, en su caso, proponen una dependencia de la varianza. Combinado con el índice SSIM la métrica propuesta queda formulada por la siguiente ecuación: 𝐸𝐸𝐹𝐹𝐼𝐼𝑄𝑄𝑀𝑀(𝑥𝑥,𝑦𝑦,𝑚𝑚)=�𝜆𝜆𝑥𝑥(𝜔𝜔).𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀(𝑥𝑥,𝑚𝑚|𝜔𝜔)+𝜆𝜆𝑦𝑦(𝜔𝜔).𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀(𝑦𝑦,𝑚𝑚|𝜔𝜔) 𝜔𝜔𝜔𝜔 Ψ (3.53) Así, según el autor, en las regiones donde la imagen 𝑥𝑥 tiene una gran relevancia comparada con 𝑦𝑦, la medida de la calidad 𝐸𝐸𝐹𝐹𝐼𝐼𝑄𝑄𝑀𝑀(𝑥𝑥,𝑦𝑦,𝑚𝑚) se determina principalmente por la “similitud” de 56 Capítulo 3 𝑚𝑚 y 𝑥𝑥. Por otro lado, en las regiones donde la relevancia de 𝑦𝑦 es mucho mayor que la de 𝑥𝑥, la medida de la calidad 𝐸𝐸𝐹𝐹𝐼𝐼𝑄𝑄𝑀𝑀(𝑥𝑥,𝑦𝑦,𝑚𝑚) es determinada principalmente por la “similitud” de 𝑚𝑚 y la imagen de entrada 𝑦𝑦. Al final, se realiza una segunda evaluación de 𝐸𝐸𝐹𝐹𝐼𝐼𝑄𝑄𝑀𝑀(𝑥𝑥,𝑦𝑦,𝑚𝑚) a partir del gradiente normalizado de las imágenes notado como 𝐸𝐸𝐹𝐹𝐼𝐼𝑄𝑄𝑀𝑀𝜔𝜔�𝑥𝑥,𝑦𝑦,𝑚𝑚󰆷�. Combinando estas dos medidas en una métrica final dependiente de los bordes según Ec. (3.59). 𝐸𝐸𝐹𝐹𝐼𝐼𝑄𝑄𝑀𝑀(𝑥𝑥,𝑦𝑦,𝑚𝑚)=[𝐸𝐸𝐹𝐹𝐼𝐼𝑄𝑄𝑀𝑀𝜔𝜔(𝑥𝑥,𝑦𝑦,𝑚𝑚)]𝛼𝛼 . �𝐸𝐸𝐹𝐹𝐼𝐼𝑄𝑄𝑀𝑀𝜔𝜔�𝑥𝑥,𝑦𝑦,𝑚𝑚󰆷��1−𝛼𝛼 (3.54) • Medidas basadas en ruido Yuhendra et al. abordan el empleo de medidas basadas en ruido para comparar las imágenes fusionadas antes y después de añadir distorsión (ruido). Su objetivo es diseñar una aproximación cuantitativa basada en la evaluación de distorsión que se produce por el ruido añadido a la imagen fusionada (Yuhendra, Alimuddin et al. 2012). En la Tabla 3.3 se resumen las medidas utilizada por los autores para este estudio. Tabla 3.3: Métricas analizadas por Yuhendra et al. Medida Expresión matemática Referencia Error Cuadrático Medio 𝑀𝑀𝑀𝑀𝐸𝐸=1 𝑀𝑀𝑁𝑁�(𝑀𝑀𝑀𝑀(𝑖𝑖)−𝐹𝐹𝐹𝐹𝑀𝑀(𝑖𝑖))2 𝑁𝑁𝑁𝑁 𝑖𝑖=1 (3.55) (Karathanassi, Kolokousis et al. 2007) Raíz del Error Cuadrático Medio 𝐸𝐸𝑀𝑀𝑀𝑀𝐸𝐸=√𝑀𝑀𝑀𝑀𝐸𝐸 (3.29) (Karathanassi, Kolokousis et al. 2007) Error Absoluto Medio 𝑀𝑀𝑃𝑃𝐸𝐸=1 𝑀𝑀𝑁𝑁�|𝑀𝑀𝑀𝑀(𝑖𝑖)+𝐹𝐹𝐹𝐹𝑀𝑀(𝑖𝑖)| 𝑁𝑁𝑁𝑁 𝑖𝑖=1 (3.56) (Karathanassi, Kolokousis et al. 2007) Error de Medida de Realce 𝐸𝐸𝑀𝑀𝐸𝐸=1 𝑀𝑀𝑁𝑁�20.𝑙𝑙𝑐𝑐𝑙𝑙𝐼𝐼𝑚𝑚𝑒𝑒𝑥𝑥 𝐼𝐼𝑚𝑚𝑖𝑖𝑛𝑛 (3.57) (Arici, Dikbas et al. 2009) Relación Señal a Ruido 𝑀𝑀𝑀𝑀𝐸𝐸(𝑑𝑑𝑁𝑁) = 10.𝑙𝑙𝑐𝑐𝑙𝑙10�∑𝐹𝐹𝐹𝐹𝑀𝑀𝑁𝑁2 (𝐹𝐹𝐹𝐹𝑀𝑀𝑁𝑁−𝐹𝐹𝐹𝐹𝑀𝑀)2� (3.58) (Damera-Venkata, Kite et al. 2000) Pico de Señal de la Relación Señal a Ruido 𝑁𝑁𝑀𝑀𝑀𝑀𝐸𝐸(𝑑𝑑𝑁𝑁) = 10.𝑙𝑙𝑐𝑐𝑙𝑙10�𝐼𝐼𝑝𝑝 𝑀𝑀𝑀𝑀𝐸𝐸2� (3.59) (Damera-Venkata, Kite et al. 2000) Índice de Calidad de Imagen 𝑄𝑄=𝜎𝜎𝑥𝑥𝑦𝑦 𝜎𝜎𝑥𝑥𝜎𝜎𝑦𝑦2𝑥𝑥𝑦𝑦� 𝑥𝑥2+𝑦𝑦�22𝜎𝜎𝑥𝑥𝜎𝜎𝑦𝑦 𝜎𝜎𝑥𝑥2+𝜎𝜎𝑦𝑦2 (3.38) (Zhou Wang, Bovik 2002) Medidas de la calidad de imágenes fusionadas 57 • Medida basada en información mutua. La medida de la información mutua y entropía de Tsallis (Guihong Qu, Dali Zhang et al. 2002) se basa en evaluar el grado de dependencia de dos variables aleatorias A y B . Esta dependencia se puede formular como: 𝐼𝐼𝐴𝐴𝑁𝑁(𝑝𝑝,𝑏𝑏)=�𝑁𝑁𝐴𝐴𝑁𝑁(𝑝𝑝,𝑏𝑏). log 𝑁𝑁𝐴𝐴𝑁𝑁(𝑝𝑝,𝑏𝑏) 𝑁𝑁𝐴𝐴(𝑝𝑝).𝑁𝑁𝑁𝑁(𝑏𝑏) 𝑥𝑥,𝑦𝑦 (3.60) donde 𝑁𝑁𝐴𝐴𝑁𝑁(𝑝𝑝,𝑏𝑏) es la distribución conjunta y 𝑁𝑁𝐴𝐴(𝑝𝑝).𝑁𝑁𝑁𝑁(𝑏𝑏) es la distribución asociada con el caso de completa independencia. A partir de la definición anterior se puede medir la cantidad de información que la imagen 𝐹𝐹𝐹𝐹𝑀𝑀 contiene de la 𝑀𝑀𝑀𝑀 y de la 𝑁𝑁𝑃𝑃𝑀𝑀. En efecto, se pueden formular las siguientes ecuaciones: 𝐼𝐼𝑀𝑀𝑀𝑀𝑀𝑀𝐹𝐹𝑀𝑀 𝛼𝛼(𝑀𝑀𝑀𝑀,𝐹𝐹𝐹𝐹𝑀𝑀)=1 1−𝛼𝛼�1− � (𝑁𝑁𝑀𝑀𝑀𝑀𝑀𝑀𝐹𝐹𝑀𝑀(𝑀𝑀𝑀𝑀,𝐹𝐹𝐹𝐹𝑀𝑀))𝛼𝛼 (𝑁𝑁𝑀𝑀𝑀𝑀(𝑀𝑀𝑀𝑀).𝑁𝑁𝑀𝑀𝐹𝐹𝑀𝑀(𝐹𝐹𝐹𝐹𝑀𝑀))𝛼𝛼−1 𝑀𝑀𝑀𝑀,𝑀𝑀𝐹𝐹𝑀𝑀 � (3.61) 𝐼𝐼𝑁𝑁𝐴𝐴𝑁𝑁𝑀𝑀𝐹𝐹𝑀𝑀 𝛼𝛼(𝑁𝑁𝑃𝑃𝑀𝑀,𝐹𝐹𝐹𝐹𝑀𝑀)=1 1−𝛼𝛼�1− � (𝑁𝑁𝑁𝑁𝐴𝐴𝑁𝑁𝑀𝑀𝐹𝐹𝑀𝑀(𝑁𝑁𝑃𝑃𝑀𝑀,𝐹𝐹𝐹𝐹𝑀𝑀))𝛼𝛼 (𝑁𝑁𝑁𝑁𝐴𝐴𝑁𝑁(𝑁𝑁𝑃𝑃𝑀𝑀).𝑁𝑁𝑀𝑀𝐹𝐹𝑀𝑀(𝐹𝐹𝐹𝐹𝑀𝑀))𝛼𝛼−1 𝑁𝑁𝐴𝐴𝑁𝑁,𝑀𝑀𝐹𝐹𝑀𝑀 � (3.62) donde 𝛼𝛼 ∈𝐾𝐾−{1} Desde Ec. (3.61) y Ec. (3.62) es posible definir una métrica de funcionamiento definida en Ec. (3.63) que refleje la cantidad de información que contiene la imagen 𝐹𝐹𝐹𝐹𝑀𝑀 de la 𝑀𝑀𝑀𝑀 y de la 𝑁𝑁𝑃𝑃𝑀𝑀. 𝑀𝑀𝑀𝑀𝑀𝑀𝑁𝑁𝐴𝐴𝑁𝑁𝑀𝑀𝐹𝐹𝑀𝑀=𝐼𝐼𝑀𝑀𝑆𝑆𝑀𝑀𝑀𝑀𝑆𝑆 𝛼𝛼(𝑀𝑀𝑀𝑀,𝑀𝑀𝐹𝐹𝑀𝑀)+ 𝐼𝐼𝐻𝐻𝑃𝑃𝑃𝑃𝑀𝑀𝑀𝑀𝑆𝑆 𝛼𝛼(𝑁𝑁𝐴𝐴𝑁𝑁,𝑀𝑀𝐹𝐹𝑀𝑀) 𝛼𝛼 (3.63) • Medida basada en fuerza y orientación de los bordes. Xideas, en (Xydeas 2005), propone una medida basada en la fuerza y orientación de los bordes de la imagen, a partir de dos imágenes de entrada 𝑃𝑃 y 𝑁𝑁 y una imagen resultante del proceso de fusión 𝐹𝐹. Primero, se aplica un filtro Sobel para determinar la fuerza de los bordes 𝑙𝑙(𝑚𝑚,𝑛𝑛) y orientación 𝛼𝛼(𝑚𝑚,𝑛𝑛) para cada píxel 𝑝𝑝(𝑚𝑚,𝑛𝑛). Así para una imagen 𝑃𝑃: 𝑙𝑙(𝑚𝑚,𝑛𝑛)=�(𝑀𝑀𝐴𝐴𝑥𝑥(𝑚𝑚,𝑛𝑛))2+ (𝑀𝑀𝐴𝐴𝑦𝑦(𝑚𝑚,𝑛𝑛))2 (3.64) 𝛼𝛼(𝑚𝑚,𝑛𝑛)=tan−1�𝑀𝑀𝐴𝐴𝑦𝑦(𝑚𝑚,𝑛𝑛) 𝑀𝑀𝐴𝐴𝑥𝑥(𝑚𝑚,𝑛𝑛)� (3.65) 58 Capítulo 3 Los valores de fuerza relativa, 𝐸𝐸𝐴𝐴𝑀𝑀(𝑚𝑚,𝑛𝑛) y orientación, 𝑃𝑃𝐴𝐴𝑀𝑀(𝑚𝑚,𝑛𝑛)de una imagen de entrada 𝑃𝑃 con respecto a 𝐹𝐹 se definen como: 𝐸𝐸𝐴𝐴𝑀𝑀(𝑚𝑚,𝑛𝑛)= ⎩ ⎪ ⎨ ⎪ ⎧ 𝑙𝑙𝑀𝑀(𝑚𝑚,𝑛𝑛) 𝑙𝑙𝐴𝐴(𝑚𝑚,𝑛𝑛) 𝑚𝑚𝑖𝑖𝑙𝑙𝐴𝐴(𝑚𝑚,𝑛𝑛)>𝑙𝑙𝑀𝑀(𝑚𝑚,𝑛𝑛) 𝑙𝑙𝐴𝐴(𝑚𝑚,𝑛𝑛) 𝑙𝑙𝑀𝑀(𝑚𝑚,𝑛𝑛),𝑐𝑐𝑜𝑜𝑝𝑝𝑙𝑙𝑐𝑐𝑜𝑜𝑖𝑖𝑐𝑐𝑐𝑐 𝑐𝑐𝑜𝑜𝑐𝑐𝑐𝑐 𝑐𝑐𝑝𝑝𝑚𝑚𝑐𝑐 (3.66) 𝑃𝑃𝐴𝐴𝑀𝑀(𝑚𝑚,𝑛𝑛)=�|𝛼𝛼𝐴𝐴(𝑚𝑚,𝑛𝑛)−𝛼𝛼𝑀𝑀(𝑚𝑚,𝑛𝑛)| −𝜋𝜋2� 𝜋𝜋2 (3.67) Las Ec. (3.66) y Ec. (3.67) se usan para derivar los valores de la fuerza de los bordes y la preservación de la orientación de los mismos 𝑄𝑄𝑔𝑔𝐴𝐴𝑀𝑀(𝑚𝑚,𝑛𝑛)=𝛤𝛤𝑔𝑔 1 + 𝑐𝑐𝐾𝐾𝑔𝑔(𝐺𝐺𝑃𝑃𝑀𝑀(𝑚𝑚,𝑛𝑛)−𝜎𝜎𝑔𝑔) 𝑄𝑄𝛼𝛼𝐴𝐴𝑀𝑀(𝑚𝑚,𝑛𝑛)=𝛤𝛤𝛼𝛼 1 + 𝑐𝑐𝐾𝐾𝛼𝛼(𝐴𝐴𝑃𝑃𝑀𝑀(𝑚𝑚,𝑛𝑛)−𝜎𝜎𝛼𝛼) (3.68) 𝑄𝑄𝑔𝑔𝐴𝐴𝑀𝑀(𝑚𝑚,𝑛𝑛) y 𝑄𝑄𝛼𝛼𝐴𝐴𝑀𝑀(𝑚𝑚,𝑛𝑛) modelan la pérdida perceptual de información en F, en términos de lo bien representados que están los valores de fuerza y orientación del píxel 𝑝𝑝(𝑛𝑛,𝑚𝑚) de 𝑃𝑃 en la imagen fusionada. Las constantes Γ𝑔𝑔,𝛼𝛼,𝐾𝐾𝑔𝑔,𝛼𝛼,𝜎𝜎𝑔𝑔,𝛼𝛼 determinan la forma exacta de las funciones sigmoides usadas para formar los valores de fuerza y orientación de los bordes. Los valores de preservación de información de bordes se define como: 𝑄𝑄𝐴𝐴𝑀𝑀(𝑚𝑚,𝑛𝑛) = 𝑄𝑄𝑔𝑔𝐴𝐴𝑀𝑀(𝑚𝑚,𝑛𝑛).𝑄𝑄𝛼𝛼𝐴𝐴𝑀𝑀(𝑚𝑚,𝑛𝑛) (3.69) Teniendo 𝑄𝑄𝐴𝐴𝑀𝑀(𝑚𝑚,𝑛𝑛) y 𝑄𝑄𝑁𝑁𝑀𝑀(𝑚𝑚,𝑛𝑛) se puede obtener una métrica de calidad tanto para un proceso de fusión como para una colección de imágenes de dimensiones 𝑀𝑀𝑥𝑥𝑀𝑀 𝑄𝑄𝐴𝐴𝑁𝑁/𝑀𝑀=∑ ∑ 𝑄𝑄𝐴𝐴𝑀𝑀(𝑚𝑚,𝑛𝑛).𝜔𝜔𝐴𝐴(𝑚𝑚,𝑛𝑛)+𝑄𝑄𝑁𝑁𝑀𝑀(𝑚𝑚,𝑛𝑛).𝜔𝜔𝑁𝑁(𝑚𝑚,𝑛𝑛) 𝑀𝑀 𝑚𝑚=1 𝑁𝑁 𝑛𝑛=1 ∑ ∑ 𝜔𝜔𝐴𝐴(𝑖𝑖,𝑗𝑗)+ 𝑀𝑀 𝑗𝑗=1 𝑁𝑁 𝑖𝑖=1 𝜔𝜔𝑁𝑁(𝑖𝑖,𝑗𝑗) (3.70) donde 𝜔𝜔𝐴𝐴(𝑚𝑚,𝑛𝑛),𝜔𝜔𝑁𝑁(𝑚𝑚,𝑛𝑛) son funciones ponderadoras. Existen más aproximaciones a la medida de la calidad. Por ejemplo, en (Makarau, Palubinskas et al. 2012b, Makarau, Palubinskas et al. 2012a), los autores plantean el problema de la selección de medidas numéricas apropiadas al método de pan-sharpening. Según estos autores, en muchos casos, varias medidas dan resultados contradictorios. Estos resultados contradictorios pueden Medidas de la calidad de imágenes fusionadas 59 ser debidos a que las medidas empleadas sean inadecuadas para este uso. Añaden, además, que la cuestión de la aplicabilidad de las medidas es un problema abierto y que debe ser analizado. En su investigación aplican los índices más populares en las publicaciones científicas de fusión de imágenes (𝑀𝑀𝑃𝑃𝑀𝑀, 𝐸𝐸𝐸𝐸𝐸𝐸𝑃𝑃𝑀𝑀, 𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀, 𝐶𝐶𝐶𝐶) a un grupo de imágenes fusionadas mediante algoritmos que permiten controlar la calidad del resultado del proceso de fusión. Su objetivo consiste en recomendar el uso de aquellas medidas que, precisamente son más sensibles a los cambios de calidad. Para ello, sugieren que el empleo de métodos de selección estadísticos es la solución a este problema. Resulta conveniente analizar el uso reciente de los protocolos y medidas revisados en este apartado. Así, el protocolo de Wald para evaluar la calidad de las imágenes fusionadas se puede encontrar en (Vivone, Restaino et al. 2014) y (Vivone, Alparone et al. 2015). También su aplicación en el campo de la fusión hiper-espectral. Del mismo modo, se constata una situación similar de empleo del protocolo de Zhou, citándose en artículos relativos al pan-sharpening multiespectral (Xu, Zhang et al. 2014), (Yang, Zhang et al. 2014) y (Duran, Buades et al. 2014) o hiperespectral (Wei, Dobigeon et al. 2014) y (Wei, Bioucas-Dias et al. 2015). Por otro lado, el protocolo 𝑄𝑄𝑀𝑀𝐸𝐸 aparece citado en muchas publicaciones recientes, por ejemplo en (Vivone, Restaino et al. 2014), (Aiazzi, Alparone et al. 2014), (Palubinskas 2015), (Vivone, Alparone et al. 2015) y (Kallel 2015). Cierto es que, si se exceptúa a (Kallel 2015) donde si se aplica y (Palubinskas 2015), donde se incluye en la revisión teórica, el resto de las referencias incluyen a un autor relacionado con la propuesta del protocolo, lo que genera dudas con respecto a su aceptación entre la comunidad científica. Las citaciones al protocolo de Khan aparecen en publicaciones donde se le utiliza como referencia para el marco teórico (Ozendi, Topan et al. 2015, Gomez-Chova, Tuia et al. 2015, Zhang, Huang 2015, Xiao, Fang et al. 2015), pero no se ha encontrado su aplicación para evaluar la calidad. En cuanto a la propuesta de Palubinskas es demasiado reciente para contrastar su éxito como sistema de evaluación de calidad de imágenes fusionadas. Por último, la citación de los índices repasados como referentes para evaluar la calidad de las imágenes fusionadas se puede constatar en numerosas publicaciones recientes, tanto los índices de calidad espacial (Nikolakopoulos, Oikonomidis 2015, Carlà, Santurri et al. 2015, Ghahremani, Ghassemian 2015, Upla, Joshi et al. 2015, Song, Huang et al. 2015, Wu, He et al. 2015) como los índices de calidad espectral o global (Cheng, Liu et al. 2015, Shahdoosti, Ghassemian 2015, Ozendi, Topan et al. 2015, Shahdoosti, Ghassemian 2016, Dehnavi, Mohammadzadeh 2015). 66 Capítulo 3 frecuencia 0. A medida que recorremos en zig-zag el bloque desde ese píxel, se obtienen los valores de amplitud de las diferentes frecuencias espaciales en orden creciente. Figura 3.6. Esquema del procedimiento de medida basada en comparación de frecuencias espaciales. En este contexto, la formulación del índice, que denominamos “frecuency comparison” (𝐹𝐹𝐶𝐶), basado en la transformada discreta del coseno (𝐷𝐷𝐶𝐶𝑇𝑇) que se propone en este trabajo aparece en la ecuación (3.84), comparando el contenido en frecuencias de la imagen 𝑁𝑁𝑃𝑃𝑀𝑀 y 𝐹𝐹𝐹𝐹𝑀𝑀. 𝐹𝐹𝐶𝐶=1 𝑀𝑀𝑁𝑁�𝐶𝐶𝐶𝐶(𝑑𝑑𝑐𝑐𝑜𝑜M𝑥𝑥N 𝐴𝐴𝐶𝐶 (𝑁𝑁𝑃𝑃𝑀𝑀), 𝑑𝑑𝑐𝑐𝑜𝑜M𝑥𝑥N 𝐴𝐴𝐶𝐶 (𝐹𝐹𝐹𝐹𝑀𝑀𝑖𝑖)) 𝑁𝑁𝑁𝑁 𝑖𝑖=1 (3.84) Para su implementación, se siguen los siguientes pasos (que también se pueden observar en el esquema de la Figura 3.6): se calculan, en bloques de 𝑚𝑚𝑥𝑥𝑛𝑛 píxeles, las 𝐷𝐷𝐶𝐶𝑇𝑇𝑚𝑚 de la imagen a evaluar (𝐹𝐹𝐹𝐹𝑀𝑀) y de la imagen de referencia (𝑁𝑁𝑃𝑃𝑀𝑀). Substituimos el término (0,0) de cada bloque de las 𝐷𝐷𝐶𝐶𝑇𝑇𝑚𝑚 por 0, con objeto de que el valor medio de la intensidad de los píxeles de cada bloque no afecte a la medida de la correlación de las frecuencias espaciales. Por último calculamos la correlación entre la 𝐷𝐷𝐶𝐶𝑇𝑇𝑚𝑚 modificadas de esta manera. El dominio del índice es [-1 1], siendo el valor esperado ideal tan próximo a 1 como sea posible. • Algoritmo basado en la modificación del índice SSIM En las secciones anteriores se ha descrito la formulación del índice 𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀 (Ec. (3.42)), en las que el primer producto hace referencia a la diferencia de intensidad, el segundo a la diferencia de contraste y el tercero a lo que sus autores llaman diferencia estructural. 𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀(𝑥𝑥,𝑦𝑦)=[𝑙𝑙(𝑥𝑥,𝑦𝑦)]𝛼𝛼.[𝑐𝑐(𝑥𝑥,𝑦𝑦)]𝛽𝛽. [𝑚𝑚(𝑥𝑥,𝑦𝑦)]𝛾𝛾 (3.42) Abundan las publicaciones donde se utiliza el índice 𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀 como una medida global de la calidad del proceso de fusión, utilizando la expresión de la ecuación (3.49). 𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀=1 𝑀𝑀𝑁𝑁�2. 𝑀𝑀𝑀𝑀 � � � � 𝑘𝑘.𝐹𝐹𝐹𝐹𝑀𝑀 � � � � � � 𝑘𝑘+𝐶𝐶1 (𝑀𝑀𝑀𝑀 � � � � 𝑘𝑘)2+ (𝐹𝐹𝐹𝐹𝑀𝑀 � � � � � � 𝑘𝑘)2+𝐶𝐶1 . 2. 𝜎𝜎𝑀𝑀𝑀𝑀𝑘𝑘.𝜎𝜎𝑀𝑀𝐹𝐹𝑀𝑀𝑘𝑘+𝐶𝐶2 𝜎𝜎2𝑀𝑀𝑀𝑀𝑘𝑘+𝜎𝜎2𝑀𝑀𝐹𝐹𝑀𝑀𝑘𝑘+𝐶𝐶2 . 2. 𝜎𝜎𝑀𝑀𝑀𝑀𝑀𝑀𝐹𝐹𝑀𝑀𝑘𝑘+𝐶𝐶2 2. 𝜎𝜎𝑀𝑀𝑀𝑀𝑘𝑘.𝜎𝜎𝑀𝑀𝐹𝐹𝑀𝑀𝑘𝑘+𝐶𝐶2 𝑁𝑁𝑁𝑁 𝑘𝑘=1 (3.49) DCT en bloques de MxN Correlación Eliminar frecuencia 0 de cada bloque Medidas de la calidad de imágenes fusionadas 67 Como se puede observar, la ecuación anterior no incluye ninguna referencia a la imagen 𝑁𝑁𝑃𝑃𝑀𝑀. Dado que el proceso de fusión implica añadir la máxima información espacial proporcionada por la imagen 𝑁𝑁𝑃𝑃𝑀𝑀 a la imagen 𝑀𝑀𝑀𝑀, intentado preservar la fidelidad espectral de las bandas multiespectrales originales, aplicar el 𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀 no parece una metodología adecuada para consideraciones de medida global. Figura 3.7. Esquema del procedimiento de medida basada en SSIM. Con esta hipótesis se diseñó una modificación del índice 𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀, que se denomina 𝑀𝑀𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀. Para ello se aprovechó el término estructural de las ecuaciones (3.46) y (3.49), introduciendo en ellas la comparación de las “estructuras” de la imagen de referencia 𝑁𝑁𝑃𝑃𝑀𝑀 con la 𝐹𝐹𝐹𝐹𝑀𝑀 (Ec. (3.85)) 𝑀𝑀𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀=1 𝑀𝑀𝑁𝑁�2. 𝑀𝑀𝑀𝑀 � � � � 𝑘𝑘.𝐹𝐹𝐹𝐹𝑀𝑀 � � � � � � 𝑘𝑘+𝐶𝐶1 (𝑀𝑀𝑀𝑀 � � � � 𝑘𝑘)2+ (𝐹𝐹𝐹𝐹𝑀𝑀 � � � � � � 𝑘𝑘)2+𝐶𝐶1 . 2. 𝜎𝜎𝑀𝑀𝑀𝑀𝑘𝑘.𝜎𝜎𝑀𝑀𝐹𝐹𝑀𝑀𝑘𝑘+𝐶𝐶2 𝜎𝜎2𝑀𝑀𝑀𝑀𝑘𝑘+𝜎𝜎2𝑀𝑀𝐹𝐹𝑀𝑀𝑘𝑘+𝐶𝐶2 . 2. 𝜎𝜎𝑁𝑁𝐴𝐴𝑁𝑁𝐻𝐻𝐻𝐻𝑀𝑀𝐹𝐹𝑀𝑀𝐻𝐻𝐻𝐻𝑘𝑘+𝐶𝐶2 2. 𝜎𝜎𝑀𝑀𝐹𝐹𝑀𝑀𝐻𝐻𝐻𝐻𝑘𝑘.𝜎𝜎𝑁𝑁𝐴𝐴𝑁𝑁𝐻𝐻𝐻𝐻+𝐶𝐶2 𝑁𝑁𝑁𝑁 𝑘𝑘=1 (3.85) Como el rango de ambos índices está dentro del intervalo [−1 , 1], podría construirse una medida global como la distancia euclídea a la medida ideal, según la siguiente ecuación: 𝐸𝐸𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀=�(1 −𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀)2+ (1 −𝑀𝑀𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀)2 (3.86) El procedimiento de medida queda reflejado en la Figura 3.7. El intervalo de medida sería [0, √8 ]. Si se desea un intervalo normalizado entre [0, 1], basta escribir la ecuación (3.86) como: 𝐸𝐸𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀=�(1 −𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀)2+ (1 −𝑀𝑀𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀)2 8 (3.87) Medida de distancia ) ) Filtrado Paso Alto 68 Capítulo 3 • Propuesta de metodología de medida basada en objetos. Los enfoques planteados hasta ahora consideran como unidad de medida el píxel y tienden a dar un número como indicador de calidad. Sin embargo, dos supuestos subyacen a esta aproximación: en primer lugar, esta perspectiva asume que la calidad de imagen es homogénea a lo largo de la imagen 𝐹𝐹𝐹𝐹𝑀𝑀. Este hecho es particularmente difícil de cumplir en imágenes de teledetección, debido al gran tamaño de los datos y en consecuencia la variedad de cubiertas que se pueden presentar en la imagen. En segundo lugar, el elemento utilizado para evaluar la calidad, el píxel, carece de significado en términos de la evaluación humana. En otras palabras, no resulta una tarea sencilla aproximar la calidad percibida en términos de una evaluación cuantitativa basada en comparación entre píxeles. Con el fin de evitar estos inconvenientes, se ha propuesto un procedimiento de evaluación de la calidad basado en objetos. Estos objetos se obtienen mediante la segmentación de la imagen 𝐹𝐹𝐹𝐹𝑀𝑀 y se propagan a través de las imágenes del 𝑁𝑁𝑃𝑃𝑀𝑀 y 𝑀𝑀𝑀𝑀 a efectos comparativos. Además, se puede se puede derivar un mapa de calidad global como una distancia a las características del objeto ideal. Figura 3.8. Esquema del procedimiento de medida basada en objetos. La Figura 3.8 muestra con más detalle el esquema propuesto para la evaluación de la calidad basado en objetos. Al principio, las imágenes de referencia 𝑀𝑀𝑀𝑀 y 𝑁𝑁𝑃𝑃𝑀𝑀 se fusionan mediante un algoritmo de pan-sharpening para generar la imagen 𝐹𝐹𝐹𝐹𝑀𝑀. Posteriormente, estas tres imágenes se emplearan para generar los mapas de calidad (𝑄𝑄𝑀𝑀) que se pueden observar como resultado al final del proceso: el mapa de calidad espacial que determina la similitud entre las frecuencias espaciales de la imágenes 𝐹𝐹𝐹𝐹𝑀𝑀 y 𝑁𝑁𝑃𝑃𝑀𝑀, el mapa de calidad espectral que establece la fidelidad espectral a la imagen 𝑀𝑀𝑀𝑀 de la imagen 𝐹𝐹𝐹𝐹𝑀𝑀, y el mapa de calidad global que representa la distancia de las características espectrales y espaciales de cada objeto de la imagen fusionada a la de un objeto ideal. El núcleo de este proceso son los objetos obtenidos después de la segmentación de la imagen 𝐹𝐹𝐹𝐹𝑀𝑀 (fila central de la Figura 3.8). Tres pasos se ejecutan de forma consecutiva para lograr esta tarea: -Paso 1: Síntesis de imagen de intensidad (𝐼𝐼𝑀𝑀𝐹𝐹𝑀𝑀) utilizando la función relativa de respuesta espectral (𝑀𝑀𝐸𝐸𝐹𝐹) de los sensores de los satélites como pesos que promedian las bandas espectrales de la imagen de 𝐹𝐹𝐹𝐹𝑀𝑀. González de Audicana et al. propusieron un enfoque para fusión de imágenes que incorporaba información de la respuesta espectral relativa de los sensores de las imágenes 𝑁𝑁𝑃𝑃𝑀𝑀 y 𝑀𝑀𝑀𝑀 para estimar la cantidad de detalle espacial de la imagen 𝑁𝑁𝑃𝑃𝑀𝑀 que se debía inyectar en el imagen 𝑀𝑀𝑀𝑀 (Gonzalez-Audicana, Otazu et al. Algoritmo de Fusión Síntesis Imagen Intensidad Reducción mínimos intensidad Watershed Diferencia Intensidad Media Medida de distancia FC adaptado a la forma Índice espectral Índice global Índice espacial Medidas de la calidad de imágenes fusionadas 69 2006). Llamaron a este modelo repuesta espectral por ventana (𝑊𝑊𝐼𝐼𝑀𝑀𝑁𝑁𝐸𝐸𝐸𝐸 por sus siglas en inglés). Sobre la base de este concepto, la imagen 𝐼𝐼𝑀𝑀𝐹𝐹𝑀𝑀 se calcula utilizando una combinación lineal de las bandas ponderadas de la imagen 𝐹𝐹𝐹𝐹𝑀𝑀. Los pesos de los coeficientes se calculan utilizando la metodología 𝑊𝑊𝐼𝐼𝑀𝑀𝑁𝑁𝐸𝐸𝐸𝐸. - Paso 2: Se efectúa una reducción de los valores mínimos de 𝐼𝐼𝑀𝑀𝐹𝐹𝑀𝑀 para evitar la sobresegmentación que genera la transformada watershed. Para esto, se aplica sobre 𝐼𝐼𝑀𝑀𝐹𝐹𝑀𝑀 la transformada 𝑄𝑄𝑚𝑚𝑖𝑖𝑛𝑛(Soille 2013) que se encarga de eliminar cualquier mínimo con profundidad menor o igual que un valor umbral. Para nuestros experimentos, se selecciona la desviación estándar de las imágenes 𝐼𝐼𝑀𝑀𝐹𝐹𝑀𝑀 como umbral. -Paso 3: Se obtienen los objetos (𝑂𝑂𝑀𝑀𝐹𝐹𝑀𝑀) aplicando la transformada watershed (Roerdink, Meijster 2000). Esta información de objetos se propagará para evaluar la calidad espacial y espectral. -Paso 4. La información de los objetos de la imagen se utiliza entonces para generar los mapas de calidad. Mapa de calidad espacial (𝑸𝑸𝑺𝑺𝒆𝒆𝒆𝒆𝒆𝒆𝒆𝒆𝒆𝒆𝒆𝒆𝒆𝒆𝒆𝒆) El 𝑄𝑄𝑀𝑀𝑒𝑒𝑠𝑠𝑝𝑝𝑒𝑒𝑒𝑒𝑖𝑖𝑒𝑒𝑙𝑙 es el resultado de la correlación de las frecuencias espaciales entre objetos similares de la imagen 𝑁𝑁𝑃𝑃𝑀𝑀 y 𝐹𝐹𝐹𝐹𝑀𝑀. Para obtenerla, se implementó una variación del índice de 𝐹𝐹𝐶𝐶 (Ec. (3.84)): para calcular las frecuencias espaciales, se ejecuta la transformada discreta del coseno adaptada a las formas (shape adaptive discrete cosine transform, 𝑀𝑀𝑃𝑃−𝐷𝐷𝐶𝐶𝑇𝑇). Esta es una modificación bien conocida de la 𝐷𝐷𝐶𝐶𝑇𝑇 utilizada principalmente para la codificación de vídeo. Los coeficientes de componente continua se ponen a cero. La distancia espacial entre objetos es finalmente evaluada por correlación. Todo el proceso se muestra en parte inferior de la Figura 3.8. La mejor calidad corresponde a alta correlación, esto significa que el objeto se verá blanco. Cuanto más oscuro es la apariencia del objeto significa que peor es la calidad espacial. Mapa de calidad espectral (𝑸𝑸𝑺𝑺𝒆𝒆𝒆𝒆𝒆𝒆𝒆𝒆𝒆𝒆𝒆𝒆𝒆𝒆𝒆𝒆𝒆𝒆) Como se puede obtener la intensidad media de cualquier objeto, el mapa calidad espectral puede ser construido a partir de los valores absolutos de esta medida entre cada objeto de la banda MS y FUS , como puede verse en la Figura 3.8 (parte superior). Dado que, la imagen 𝑀𝑀𝑀𝑀 tiene varias bandas, el valor medio entre las bandas constituye el 𝑄𝑄𝑀𝑀𝑒𝑒𝑠𝑠𝑝𝑝𝑒𝑒𝑒𝑒𝑒𝑒𝑟𝑟𝑒𝑒𝑙𝑙. En este mapa, la mejor calidad espectral correspondería a las zonas más oscuras (menos diferencias entre los objetos de las imágenes 𝐹𝐹𝐹𝐹𝑀𝑀 y 𝑀𝑀𝑀𝑀). Para mayor concordancia con la visualización de la 𝑄𝑄𝑀𝑀𝑒𝑒𝑠𝑠𝑝𝑝𝑒𝑒𝑒𝑒𝑖𝑖𝑒𝑒𝑙𝑙, se calcula el negativo de la 𝑄𝑄𝑀𝑀𝑒𝑒𝑠𝑠𝑝𝑝𝑒𝑒𝑒𝑒𝑒𝑒𝑟𝑟𝑒𝑒𝑙𝑙. Mapa Global de Calidad Finalmente, un mapa de calidad global (𝑄𝑄𝑀𝑀𝑔𝑔𝑙𝑙𝑔𝑔𝑏𝑏𝑒𝑒𝑙𝑙) puede sintetizarse a partir 𝑄𝑄𝑀𝑀𝑒𝑒𝑠𝑠𝑝𝑝𝑒𝑒𝑒𝑒𝑒𝑒𝑟𝑟𝑒𝑒𝑙𝑙 y 𝑄𝑄𝑀𝑀𝑒𝑒𝑠𝑠𝑝𝑝𝑒𝑒𝑒𝑒𝑖𝑖𝑒𝑒𝑙𝑙. Ya que se conocen las características ideales de cualquier objeto (un objeto 70 Capítulo 3 blanco), el 𝑄𝑄𝑀𝑀𝑔𝑔𝑙𝑙𝑔𝑔𝑏𝑏𝑒𝑒𝑙𝑙 se puede considerar como una distancia entre las características ideales y las características evaluadas. Para esto propósito, se ha escogido la distancia euclídea. En 𝑄𝑄𝑀𝑀𝑔𝑔𝑙𝑙𝑔𝑔𝑏𝑏𝑒𝑒𝑙𝑙, las áreas más oscuras indican menor distancia a las características del objeto ideal. En otras palabras, una mejor calidad global. Toda esta información local se puede emplear, además, para obtener un valor único de la calidad que se puede sintetizar a partir del promedio sobre el número de objetos de cada mapa. De esta forma se puede derivar, adicionalmente, un índice espectral, espacial y global si se desea. 3.4 Resumen En los últimos 25 años los investigadores han propuesto diferentes protocolos e indicadores para medir la calidad de las imágenes fusionadas de teledetección. Aun así, no hay un acuerdo en la comunidad científica sobre el procedimiento ideal a ejecutar para una evaluación precisa de la calidad de las imágenes pan-sharpened. La complejidad asociada a este problema se debe a varios factores. En primer lugar, la evaluación de calidad de imágenes fusionadas de teledetección se encuadra dentro de los esquemas de medida RR, con la dificultad intrínseca de no disponer de una imagen de referencia a la resolución de la imagen bajo test. Además, las altas frecuencias de la banda pancromática no son separables en las distintas bandas multiespectrales. En consecuencia, la evaluación de la calidad debe contemplar tanto la calidad espacial como la espectral de las imágenes fusionadas, factores que siguen tendencias opuestas. Los protocolos de Wald y de Zhou son los más utilizados para este propósito. Hay dos diferencias importantes entre ellos. El primero realiza la evaluación reduciendo la resolución espacial de las imágenes de referencia, y se centra en la medida de la calidad espectral comparando la imagen fusionada (a la escala de la imagen 𝑀𝑀𝑀𝑀) para determinar la calidad del proceso de fusión. Frente a esto, el protocolo de Zhou considera que es necesaria una evaluación específica de la calidad espacial de la imagen 𝐹𝐹𝐹𝐹𝑀𝑀. Por consiguiente, propone tanto la evaluación de la calidad espacial como la espectral usando respectivamente como referencia el detalle de la imagen 𝑁𝑁𝑃𝑃𝑀𝑀 y la imagen 𝑀𝑀𝑀𝑀 interpolada a la resolución espacial de aquella. A pesar de que se han descrito otros protocolos de evaluación como los abordados en este capítulo (𝑄𝑄𝑀𝑀𝐸𝐸, Khan y 𝐽𝐽𝑄𝑄𝑀𝑀), la revisión bibliográfica indica que los dos mencionados en el párrafo anterior son los que se emplean en mayor número de ocasiones. Las medidas utilizadas en la aplicación de los protocolos anteriores se pueden agrupar según el objeto de la medida sea la calidad espectral, espacial o global o según el tipo de evaluación de distancia en la que se basen (Minkowsky, correlación, cálculo vectorial o estadísticos). La Tabla 3.3 muestra esta clasificación para los índices analizados durante este capítulo. Las medidas que aparecen en la tabla son las que se encuentran con mayor frecuencia en las publicaciones de referencia, aunque ocasionalmente se utilizan otras. Por ejemplo, las mencionadas en la Tabla 3.2 o la diferencia de entropías para medir la calidad espacial. Medidas de la calidad de imágenes fusionadas 71 De otra parte, en la Tabla 3.3, Global* indica que, a pesar del carácter global que los autores le confieren, se aplican sin usar la imagen PAN de referencia por lo que no se puede evaluar qué cantidad de información espacial con respecto a la imagen PAN presenta la imagen FUS. Tabla 3.4: Resumen de Medidas Medida Carácter Distancia Correlación Espectral Espectral Correlación 𝑀𝑀𝑃𝑃𝑀𝑀 Espectral Producto Vectorial 𝐸𝐸𝐸𝐸𝐸𝐸𝑃𝑃𝑀𝑀 espectral Espectral Minkowsky de orden 2 Zhou Espacial Correlación 𝐸𝐸𝐸𝐸𝐸𝐸𝑃𝑃𝑀𝑀 espacial Espacial Minkowsky de orden 2 𝐸𝐸𝐸𝐸𝐸𝐸𝑃𝑃𝑀𝑀 global Global Minkowsky de orden 2 𝑄𝑄 Global* Combinación de estadísticos 𝑄𝑄4 Global* Combinación de estadísticos 𝑄𝑄𝑀𝑀𝐸𝐸 Global Combinación de estadísticos 𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀 Global * Combinación de estadísticos 𝐽𝐽𝑄𝑄𝑀𝑀 Global Combinación de estadísticos Durante la investigación de esta tesis se han propuesto cuatro medidas basadas en píxeles y un esquema para la evaluación de la calidad basado en objetos: - Desde un enfoque cualitativo se ha descrito un algoritmo basado en la distancia de color 𝐶𝐶𝐼𝐼𝐸𝐸𝐷𝐷𝐸𝐸2000 buscando una correlación entre la percepción humana y la medida de la calidad espectral en aquellas aplicaciones donde el color sea importante. - Desde un enfoque cuantitativo basado en píxeles se han presentado los algoritmos basados en el 𝐸𝐸𝐸𝐸𝐸𝐸𝑃𝑃𝑀𝑀 espectral y en la comparación de frecuencias espaciales persiguiendo una mayor robustez frente a distorsiones espectrales y espaciales que se pueden introducir en el proceso de pan-sharpening o durante el registro de los datos. Con este enfoque, también, se ha propuesto una evaluación global a través de una modificación del índice 𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀. -Por último, se ha desarrollado una metodología basada en objetos (de la imagen) con la intención de evaluar su calidad desde un nivel de superior al píxel, elemento sin significancia desde el punto de vista de la percepción humana. Además, este tipo de estrategias ha permitido la obtención de mapas de calidad que permiten identificar aquellas zonas de la imagen donde el proceso de fusión ha sido mejor o peor en términos de fidelidad espectral o contenido de detalle con respecto a las imágenes originales 72 Capítulo 3 3.5 Referencias bibliográficas AIAZZI, B., ALPARONE, L., BARONTI, S., CARLÀ, R., GARZELLI, A. and SANTURRI, L., 2014. Full scale assessment of pansharpening methods and data products, SPIE Remote Sensing 2014, International Society for Optics and Photonics, pp. 924402-924402-12. ALPARONE, L., BARONTI, S., GARZELLI, A. and NENCINI, F., 2004. A global quality measurement of pan-sharpened multispectral imagery. Geoscience and Remote Sensing Letters, IEEE, 1(4), pp. 313-317. ALPARONE, L., WALD, L., CHANUSSOT, J., THOMAS, C., GAMBA, P. and BRUCE, L.M., 2007. Comparison of Pansharpening Algorithms: Outcome of the 2006 GRS-S Data-Fusion Contest. Geoscience and Remote Sensing, IEEE Transactions on, 45(10), pp. 3012-3021. ALPARONE, L., 2008. Multispectral and panchromatic data fusion assessment without reference. Photogrammetric Engineering and Remote Sensing, 74(2), pp. 193-200. ARICI, T., DIKBAS, S. and ALTUNBASAK, Y., 2009. A Histogram Modification Framework and Its Application for Image Contrast Enhancement. Image Processing, IEEE Transactions on, 18(9), pp. 1921-1935. CARLÀ, R., SANTURRI, L., AIAZZI, B. and BARONTI, S., 2015. Full-Scale Assessment of Pansharpening Through Polynomial Fitting of Multiscale Measurements. CHENG, J., LIU, H., LIU, T., WANG, F. and LI, H., 2015. Remote sensing image fusion via wavelet transform and sparse representation. ISPRS Journal of Photogrammetry and Remote Sensing, 104, pp. 158-173. CIVCO, D.L. and WITHARANA, C., 2012. Assessing the spatial fidelity of resolution-enhanced imagery using Fourier analysis: a proof-of-concept study, SPIE Remote Sensing 2012, International Society for Optics and Photonics, pp. 853805-853805-13. DAMERA-VENKATA, N., KITE, T.D., GEISLER, W.S., EVANS, B.L. and BOVIK, A.C., 2000. Image quality assessment based on a degradation model. Image Processing, IEEE Transactions on, 9(4), pp. 636-650. DEHNAVI, S. and MOHAMMADZADEH, A., 2015. New edge adaptive GIHS-BT-SFIM fusion method and class-based approach investigation. International Journal of Image and Data Fusion, 6(1), pp. 65-78. DURAN, J., BUADES, A., COLL, B. and SBERT, C., 2014. A nonlocal variational model for pansharpening image fusion. SIAM Journal on Imaging Sciences, 7(2), pp. 761. GARZELLI, A., NENCINI, F., ALPARONE, L. and BARONTI, S., 2007. A new method for quality assessment of hyperspectral images, Geoscience and Remote Sensing Symposium, 2007. IGARSS 2007. IEEE International 2007, pp. 5138-5141. GHAHREMANI, M. and GHASSEMIAN, H., 2015. Remote sensing image fusion using ripplet transform and compressed sensing. Geoscience and Remote Sensing Letters, IEEE, 12(3), pp. 502506. Medidas de la calidad de imágenes fusionadas 73 GHINEA, R.I., 2014. Evaluation of the CIEDE2000 (KL: KC: KH) Color Difference Metrics and Development of Color Prediction Algorithms: Application to Dental Materials: PhD Thesis. GOMEZ-CHOVA, L., TUIA, D., MOSER, G. and CAMPS-VALLS, G., 2015. Multimodal Classification of Remote Sensing Images: A Review and Future Directions. GONZALEZ-AUDICANA, M., OTAZU, X., FORS, O. and ALVAREZ-MOZOS, J., 2006. A low computational-cost method to fuse IKONOS images using the spectral response function of its sensors. Geoscience and Remote Sensing, IEEE Transactions on, 44(6), pp. 1683-1691. GUIHONG QU, DALI ZHANG and PINGFAN YAN, 2002. Information measure for performance of image fusion. Electronics Letters, 38(7), pp. 313-315. HAN, Y., 2012. Novel Fused Image Quality Measures Based on Structural Similarity. Journal of computers, 7(3), pp. 636. KAI, Y. and HONGXU, J., 2011. Optimized-SSIM based quantization in optical remote sensing image compression, Image and Graphics (ICIG), 2011 Sixth International Conference on 2011, IEEE, pp. 117122. KALLEL, A., 2015. MTF-Adjusted Pansharpening Approach Based on Coupled Multiresolution Decompositions. Geoscience and Remote Sensing, IEEE Transactions on, 53(6), pp. 3124-3145. KARATHANASSI, V., KOLOKOUSIS, P. and IOANNIDOU, S., 2007. A comparison study on fusion methods using evaluation indicators. International Journal of Remote Sensing, 28(10), pp. 2309-2341. KHAN, M.M., ALPARONE, L. and CHANUSSOT, J., 2009. Pansharpening Quality Assessment Using the Modulation Transfer Functions of Instruments. Geoscience and Remote Sensing, IEEE Transactions on, 47(11), pp. 3880-3891. KRUSE, F., 1993. The Spectral Image-Processing System (SIPS) - Interactive Visualization and Analysis of Imaging Spectrometer Data. Remote Sensing of Environment, 44(2-3), pp. 145-163. LEUNG, Y., LIU, J. and ZHANG, J., 2014. An Improved Adaptive Intensity–Hue–Saturation Method for the Fusion of Remote Sensing Images. LILLO‐SAAVEDRA, M., GONZALO, C., ARQUERO, A. and MARTINEZ, E., 2005. Fusion of multispectral and panchromatic satellite sensor imagery based on tailored filtering in the Fourier domain. International Journal of Remote Sensing, 26(6), pp. 1263-1268. LILLO‐SAAVEDRA, M. and GONZALO, C., 2006. Spectral or spatial quality for fused satellite imagery? A trade‐off solution using the wavelet à trous algorithm. International Journal of Remote Sensing, 27(7), pp. 1453-1464. LUO, M.R., CUI, G. and RIGG, B., 2001. The development of the CIE 2000 colour‐difference formula: CIEDE2000. Color Research & Application, 26(5), pp. 340-350. MAKARAU, A., PALUBINSKAS, G. and REINARTZ, P., 2012a. Selection of numerical measures for pan-sharpening assessment, Geoscience and Remote Sensing Symposium (IGARSS), 2012 IEEE International 2012a, pp. 2264-2267. 74 Capítulo 3 MAKARAU, A., PALUBINSKAS, G. and REINARTZ, P., 2012b. Analysis and selection of pansharpening assessment measures. Journal of Applied Remote Sensing, 6(1), pp. 063548-1. NIKOLAKOPOULOS, K. and OIKONOMIDIS, D., 2015. Quality assessment of ten fusion techniques applied on Worldview-2. European Journal of Remote Sensing, 48, pp. 141-167. OZENDI, M., TOPAN, H., ORUC, M. and CAM, A., 2015. Pan-Sharpening Quality Investigation of PLÉIADES-1A Images. Geocarto International, (just-accepted), pp. 1-16. PALSSON, F., SVEINSSON, J.R., BENEDIKTSSON, J.A. and AANAES, H., 2012. Classification of pansharpened urban satellite images. Selected Topics in Applied Earth Observations and Remote Sensing, IEEE Journal of, 5(1), pp. 281-297. PALUBINSKAS, G., 2015. Joint Quality Measure for Evaluation of Pansharpening Accuracy. Remote Sensing, 7(7), pp. 9292-9310. PALUBINSKAS, G., 2014. Mystery behind similarity measures MSE and SSIM, Image Processing (ICIP), 2014 IEEE International Conference on 2014, IEEE, pp. 575-579. RODRIGUEZ-ESPARRAGON, D., MARCELLO-RUIZ, J., MEDINA-MACHÍN, A., EUGENIOGONZALEZ, F., GONZALO-MARTIN, C. and GARCIA-PEDRERO, A., 2014. Evaluation of the performance of spatial assessments of pansharpened images, Geoscience and Remote Sensing Symposium (IGARSS), 2014 IEEE International 2014, IEEE, pp. 1619-1622. RODRÍGUEZ-ESPARRAGÓN, D., GARCÍA-PEDRERO, Á, MARCELLO-RUIZ, J. and EUGENIO-GONZÁLEZ, F., 2015. Medida de la calidad espectral de imágenes fusionadas usando el algoritmo CIEDE2000, Libro de Actas del XVI Congreso de la Asociación Española de Teledetección 2015, pp. 501-504. RODRIGUEZ-ESPARRAGON, D., GARCÍA-PEDRERO, Á, MARCELLO-RUIZ, J., GONZALOMARTÍN, C. and EUGENIO-GONZÁLEZ, F., 2015. Generación basada en objetos de mapas de la medida local de la calidad de imágenes fusionadas de Teledetección, Libro de Actas del XVI Congreso de la Asociación Española de Teledetección 2015, pp. 505-508. RODRIGUEZ-ESPARRAGON, D., MARCELLO-RUIZ, J., EUGENIO-GONZALEZ, F., GARCIA-PEDRERO, A. and GONZALO-MARTIN, C., 2015. An object approach to the assessment of the spatial quality of pan-sharpened remote sensing images, Bioinspired Intelligence (IWOBI), 2015 4th International Work Conference on 2015, IEEE, pp. 49-54. RODRÍGUEZ-ESPARRAGÓN, D., MARCELLO-RUIZ, J., MEDINA MACHÍN, A. and EUGENIO-GONZÁLEZ, F., 2013. Evaluación de las Métricas de Calidad Espectral de Imágenes Fusionadas frente a variaciones de intensidad en 2013, Libro de Actas del XV Congreso de la Asociación Española de Teledetección 2013, pp. 212-215. ROERDINK, J.B. and MEIJSTER, A., 2000. The watershed transform: Definitions, algorithms and parallelization strategies. Fundam.Inform., 41(1-2), pp. 187-228. SHAHDOOSTI, H.R. and GHASSEMIAN, H., 2016. Combining the spectral PCA and spatial PCA fusion methods by an optimal filter. Information Fusion, 27, pp. 150-160. SHAHDOOSTI, H.R. and GHASSEMIAN, H., 2015. Fusion of MS and PAN Images Preserving Spectral Quality. Geoscience and Remote Sensing Letters, IEEE, 12(3), pp. 611-615. Medidas de la calidad de imágenes fusionadas 75 SHARMA, G., WU, W. and DALAL, E.N., 2005. The CIEDE2000 color‐difference formula: Implementation notes, supplementary test data, and mathematical observations. Color Research & Application, 30(1), pp. 21-30. SOILLE, P., 2013. Morphological image analysis: principles and applications. Springer Science & Business Media. SONG, H., HUANG, B., LIU, Q. and ZHANG, K., 2015. Improving the spatial resolution of landsat TM/ETM through fusion with SPOT5 images via learning-based super-resolution. Geoscience and Remote Sensing, IEEE Transactions on, 53(3), pp. 1195-1204. THOMAS, C., 2005. Assessment of the quality of fused products, NEW STRATEGIES FOR EUROPEAN REMOTE SENSING 2005, MILLPRESS SCIENCE PUBLISHERS, pp. 317325. THOMAS, C. and WALD, L., 2006. Analysis of Changes in Quality Assessment with Scale, Information Fusion, 2006 9th International Conference on 2006, pp. 1-5. TU, T., HUANG, P.S., HUNG, C. and CHANG, C., 2004. A fast intensity-hue-saturation fusion technique with spectral adjustment for IKONOS imagery. Geoscience and Remote Sensing Letters, IEEE, 1(4), pp. 309-312. UPLA, K.P., JOSHI, M.V. and GAJJAR, P.P., 2015. An Edge Preserving Multiresolution Fusion: Use of Contourlet Transform and MRF Prior. Geoscience and Remote Sensing, IEEE Transactions on, 53(6), pp. 3210-3220. VEERARAGHAVAN VIJAYARAJ, O'HARA, C.G. and YOUNAN, N.H., 2004. Quality analysis of pansharpened images, Geoscience and Remote Sensing Symposium, 2004. IGARSS '04. Proceedings. 2004 IEEE International 2004, pp. 88. VIVONE, G., ALPARONE, L., CHANUSSOT, J., DALLA MURA, M., GARZELLI, A., LICCIARDI, G.A., RESTAINO, R. and WALD, L., 2015. A critical comparison among pansharpening algorithms. Geoscience and Remote Sensing, IEEE Transactions on, 53(5), pp. 2565-2586. VIVONE, G., RESTAINO, R., DALLA MURA, M., LICCIARDI, G. and CHANUSSOT, J., 2014. Contrast and error-based fusion schemes for multispectral image pansharpening. Geoscience and Remote Sensing Letters, IEEE, 11(5), pp. 930-934. WALD, L., 2002. Data Fusion: Definitions and Architectures. Paris: Les Presses de l'École des Mines. WALD, L., RANCHIN, T. and MANGOLINI, M., 1997. Fusion of satellite images of different spatial resolutions: Assessing the quality of resulting images. Photogrammetric Engineering and Remote Sensing, 63(6), pp. 691-699. WANG, Z. and BOVIK, A.C., 2006. Modern image quality assessment. [San Rafael, Calif.] : (-us): Morgan & Claypool Publishers,. WEI, Q., BIOUCAS-DIAS, J., DOBIGEON, N. and TOURNERET, J., 2015. Hyperspectral and multispectral image fusion based on a sparse representation. Geoscience and Remote Sensing, IEEE Transactions on, 53(7), pp. 3658-3668. 82 Capítulo 4 82 (a) (b) (c) (d) (e) (f) (g) (h) (i) Figura 4.4. Imagen Ikonos fusionada por el método de: (a) Brovey, (b) PCA, (c) IHS, (d) eIHS, (e) TWD, (f) AW, (g) AW-PCA, (h) AW-IHS, (i) AW-DF. Metodología para la evaluación de la robustez y sensibilidad de los índices de calidad 83 (a) (b) (c) (d) (e) (f) (g) (h) (i) Figura 4.5. Imagen Quickbird (QB16) fusionada por el método de: (a) Brovey, (b) PCA, (c) IHS, (d) eIHS, (e) TWD, (f) AW, (g) AW-PCA, (h) AW-IHS, (i) AW-DF. 84 Capítulo 4 (a) (b) (c) (d) (e) (f) (g) (h) (i) Figura 4.6. Imagen Quickbird (QB24) fusionada por el método de: (a) Brovey, (b) PCA, (c) IHS, (d) eIHS, (e) TWD, (f) AW, (g) AW-PCA, (h) AW-IHS, (i) AW-DF. Metodología para la evaluación de la robustez y sensibilidad de los índices de calidad 85 85 4.3 Descripción de las metodologías propuestas para la evaluación de los índices de calidad 4.3.1 Evaluación basada en distorsiones espectrales Como se ha indicado anteriormente, una de las distorsiones que introduce el proceso de pansharpening es la alteración del histograma de las bandas de la imagen 𝐹𝐹𝐹𝐹𝐸𝐸 comparada con la original 𝐺𝐺𝐸𝐸. Idealmente, las medidas de calidad espectral deberían detectar estos cambios. Sin embargo, no se ha encontrado demostración publicada donde se analice la robustez y sensibilidad de estas medidas frente a pequeñas alteraciones espectrales. Como complemento a la rama superior del diagrama de la Figura 4.1, donde aparece el esquema general de procedimiento de evaluación basado en píxeles, a continuación en la Figura 4.7, se muestra el diagrama de flujo detallado del método de evaluación cuantitativo basado en la síntesis de imágenes con distorsiones espectrales. Se pretende comprobar el rendimiento de los índices de calidad cuando las imágenes presentan pequeñas variaciones de intensidad que pueden alterar la percepción del color o la información de la distribución espectral en sus bandas. Figura 4.7. Diagrama de flujo de la ejecución de los test de distorsión de intensidad. Para ello, se diseñaron y aplicaron dos pruebas diferentes (que llamaremos test de contraste y brillo). Ambas, se basan en el aumento de los valores de la intensidad de los píxeles de las bandas seleccionadas para formar la composición de color de una imagen 𝐺𝐺𝐸𝐸. Este incremento se ejecutó linealmente y de forma independiente para todas las bandas de la imagen. Como resultado, se generó un conjunto de nuevas imágenes distorsionadas que, posteriormente, fueron empleadas como elemento de evaluación comparada. Siguiendo la notación usada en el apartado 3.3.3, se va a suponer que 𝐵𝐵1, 𝐵𝐵2 y 𝐵𝐵3 son las tres bandas de una imagen 𝐺𝐺𝐸𝐸, seleccionadas para formar una composición de color. A partir de ellas, describimos las dos pruebas referidas en los párrafos anteriores. - Test de contraste Para este fin se diseñó un algoritmo que se ejecuta en 75 pasos, esto es, en la Figura 4.7, se asigna a la variable max el valor de 75. En cada uno de ellos se genera una nueva imagen distorsiona espectralmente. En los 25 pasos iniciales, los valores de intensidad de la banda 𝐵𝐵1 de la imagen Imagen de Referencia Comienzo Test n=1 Incremento Intensidad (n) Imagen Distorsionada (n) Medida de la calidad Medidas de calidad (n) n=n+1 ¿n>max? Fin del Test Si No 86 Capítulo 4 original se incrementan multiplicando por un coeficiente αn (donde 𝛼𝛼 es una constante numérica a la que se le asignó el valor de 1.015 para estas pruebas, y, 𝑛𝑛 indica el paso de iteración). Las bandas, 𝐵𝐵2 y 𝐵𝐵3 permanecen con sus valores originales en estas primeras 25 iteraciones. En consecuencia, en cada iteración se crea una imagen nueva y más brillante alterando la banda 𝐵𝐵1, y, por tanto, el color de la imagen compuesta. Del mismo modo, en los siguientes 25 pasos, las bandas 𝐵𝐵1 y 𝐵𝐵3 mantienen sus valores y los píxeles de la imagen 𝐵𝐵2 se multiplican por el coeficiente 𝛼𝛼𝑛𝑛−25. Por último, la banda 𝐵𝐵3 se incrementa mientras que las 𝐵𝐵1 y 𝐵𝐵2 permanecen constantes. En este punto, las tres bandas habrán recibido el mismo incremento. Esto significa que la imagen 𝐺𝐺𝐸𝐸 �, al final del test, tiene el mismo color que la imagen de partida, pero diferente luminosidad. El algoritmo se puede expresar matemáticamente como sigue: MS �( n ) = ⎩ ⎪ ⎨ ⎪ ⎧ { B1,B2,B3 } { αn.B1,B2,B3 } si n=0; si 0<n≤25; � α25.B1,αn-25.B2,B3 � si 25<n≤ 50; � α25.B1,α25.B2,αn-50.B3 � si 50<n ≤75; (4.1) donde 𝐺𝐺𝐸𝐸 �(𝑛𝑛) indica la imagen 𝐺𝐺𝐸𝐸 distorsionada en la iteración 𝑛𝑛, α es la constante multiplicadora y B1, B2, B3 son los valores de los píxeles del conjunto de bandas seleccionadas para la representación del color. - Test de brillo De un modo similar, se programó un segundo algoritmo con el mismo número de iteraciones. En este caso el aumento de la banda se efectúa sumando el valor obtenido a partir de la variación de una segunda constante 𝛼𝛼 (a la que se le asignó 0.012 en este caso). Este algoritmo de distorsión se puede expresar como sigue: MS �( n ) = ⎩ ⎪ ⎨ ⎪ ⎧ { B1,B2,B3 } {(𝛼𝛼∗𝑛𝑛)+ B1,B2,B3 } si n=0; si 0< n ≤ 25; �(𝛼𝛼∗25)+ B1, �𝛼𝛼∗(𝑛𝑛−25)�+ B2,B3 � si 25<n ≤50; �(𝛼𝛼∗25)+ B1, (𝛼𝛼∗25)+ B2, �𝛼𝛼∗(𝑛𝑛−50)�+ B3 � si 50<n ≤75; (4.2) donde 𝐺𝐺𝐸𝐸 �, α y B1, B2, B3 indican lo mismo que en la expresión (4.1). En el diagrama de flujo empleado en esta prueba, que se presentó en la Figura 4.7, el bloque denominado, Incremento de intensidad, se encarga de implementar las Ec. (4.1) y (4.2). En las Figuras 4.8 y 4.9 se muestran las imágenes originales al inicio de las pruebas y las distorsionadas en las iteraciones 25, 50 y 75, tras aplicar ambos test a los datos 𝐺𝐺𝐸𝐸 originales. Resulta evidente que un observador encontrará menor diferencia de color, y, por tanto, mayor calidad espectral entre la imagen original y la distorsionada al final del test (𝑛𝑛=75) que con respecto a las imágenes intermedias (𝑛𝑛=25,𝑛𝑛=50). Es deseable que los índices de calidad reflejen este hecho. Así, determinaremos su sensibilidad y robustez en función de la capacidad Metodología para la evaluación de la robustez y sensibilidad de los índices de calidad 87 de detectar los pequeños cambios producidos en cada paso del procedimiento iterativo y de la sintonía con este comportamiento esperado, tal y como se describirá en el Capítulo 5. Imagen Geoeye Imagen Ikonos Imagen QB16 Imagen QB24 Imagen sintética n=0 n=25 n=50 n=75 Figura 4.8. Imágenes distorsionadas en las iteraciones intermedias generadas desde la composición a color de las bandas MS originales, al ejecutar el test de contraste. Por filas en orden descendente: Imagen Geoeye, Ikonos, Quickbird (QB16), Quickbird (QB24) y sintética. 88 Capítulo 4 Imagen Geoeye Imagen Ikonos Imagen QB16 Imagen QB24 Imagen sintética n=0 n=25 n=50 n=75 Figura 4.9. Imágenes distorsionadas en las iteraciones intermedias generadas desde la composición a color de las bandas MS originales, al ejecutar el test de brillo. Por filas en orden descendente: Imagen Geoeye, Ikonos, Quickbird (QB16), Quickbird (QB24) y sintética. Metodología para la evaluación de la robustez y sensibilidad de los índices de calidad 89 A partir de las imágenes de referencia representadas en la Figura 4.2 (cinco imágenes) se generó un conjunto de setecientas cincuenta imágenes distorsionadas. La calidad espectral fue entonces evaluada aplicando los índices 𝐶𝐶𝐶𝐶, 𝑄𝑄, 𝐸𝐸𝐸𝐸𝐺𝐺, 𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸 y 𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐼𝐼𝐼𝐼𝐼𝐼 entre la imagen de referencia original y las sintetizadas a partir de cada iteración de cada test (bloque de medida de la calidad). De esta manera, tras el test de contraste y brillo, para cada índice y en cada imagen se obtienen dos curvas que representan la variación de su valor en función de la distorsión espectral que se introduce artificialmente. La selección de estos índices permite disponer de una referencia de medida basada en los tipos de distancia mencionados en el Capítulo 3. 4.3.2 Evaluación basada en distorsiones geométricas De forma análoga a lo que sucede con la calidad espectral, el proceso de fusión genera distorsiones espaciales. Además, esta propiedad es extremadamente sensible a errores de alineamiento entre las imágenes 𝐺𝐺𝐸𝐸 y 𝑃𝑃𝐸𝐸𝑃𝑃 (Baronti, Aiazzi et al. 2011). En este sentido, se plantea la pregunta de cómo afectan pequeños desplazamientos entre las imágenes de referencia y la distorsionada a los índices que se encargan de medir esta característica. O lo que es lo mismo, qué medidas son más robustas frente a problemas de alineamiento que pueden aparecer entre las imágenes bajo análisis. Con este objeto se ideó y ensayó un test basado en trasformaciones geométricas que permitiese generar un conjunto de imágenes distorsionadas espacialmente. Estos datos servirán como elementos de referencia para la obtención de las medidas de calidad y así conocer su comportamiento ante la presencia de distorsiones espaciales introducidas artificialmente en este caso. La Figura 4.10 muestra el diagrama de flujo del algoritmo de distorsión geométrica de las imágenes (que vuelve a ser una particularización del que se encuentra en la Figura 4.1). Para su ejecución se empleará como referencia a las imágenes 𝑃𝑃𝐸𝐸𝑃𝑃 correspondientes a las imágenes 𝐺𝐺𝐸𝐸 de la Figura 4.2. El bloque de Transformación Geométrica Aplicada se encarga de introducir las distorsiones programadas a cada imagen de entrada. En concreto, traslación horizontal, vertical, diagonal y rotación. Para las tres primeras transformaciones, cada incremento en el valor de 𝑛𝑛 implicaba un incremento de un píxel en el desplazamiento vertical, horizontal y diagonal. En el caso de la rotación, cada incremento de 𝑛𝑛 implicaba un giro adicional de 0,25º. Finalmente 𝑚𝑚𝑚𝑚𝑚𝑚 indica el número máximo de iteraciones del test. En las pruebas más adelante descritas se tomó para ello el valor 10. Figura 4.10. Diagrama de flujo del test de transformaciones geométricas. Imagen de Referencia Comienzo Test n=1 Transfor. Geométrica Aplicada (n) Imagen Distorsionada (n) Medida de la calidad Medidas de calidad (n) n=n+1 ¿n>max? Fin del Test Si No 90 Capítulo 4 Las medidas de calidad se calcularon entre la imagen de referencia (𝑃𝑃𝐸𝐸𝑃𝑃) y sus versiones distorsionadas artificialmente y se aplicaron en bloques de 8x8 píxeles. Para evitar el posible error de cálculo debido a los bordes, se seleccionó una ventana cuadrada en el interior de la imagen con una distancia a los límites de la imagen mayor que el desplazamiento total introducido artificialmente. Consecuentemente, tras la evaluación, de cada test se dispone de una curva que representa la variación de cada índice de calidad a medida que una distorsión espacial, introducida artificialmente se aplica a cada imagen 𝑃𝑃𝐸𝐸𝑃𝑃 de la base de datos. De cada índice, por tanto, se obtuvieron dieciséis series numéricas (cuatro transformaciones geométricas por 4 imágenes) de diez valores cada una. Cada valor corresponde al resultado de la medida de calidad en un paso del test de transformaciones geométricas de la Figura 4.10. Un comportamiento ideal de la medida implicaría un resultado progresivamente peor de la evaluación de la calidad de la imagen a medida que el test avanza. Los índices empleados para esta evaluación son aquellos que fueron descritos como de medida de la característica espacial en el Capítulo 3. A saber, el índice Zhou, el 𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸 𝐵𝐵𝑒𝑒𝑒𝑒𝑚𝑚𝑒𝑒𝑒𝑒𝑚𝑚𝑒𝑒 y el propuesto en este trabajo y que denominamos 𝐹𝐹𝐶𝐶. Además, se decidió incluir otros dos adicionales que, aunque no son habituales en las publicaciones en el ámbito del pan-sharpening, se emplean con profusión en otras áreas del procesado de señales: la correspondencia de bordes Canny (𝐶𝐶𝐸𝐸𝐶𝐶) y el error cuadrático medio tras filtro de sobel (𝐸𝐸−𝐸𝐸𝐺𝐺𝐸𝐸𝐸𝐸), que también aparecen resumidos en el citado capítulo. Se puede observar, Figura 4.11, un ejemplo de imágenes distorsionadas obtenidas aplicando el test de transformaciones geométricas, donde se representan en falso color para una mejor visualización. En la columna más a la izquierda aparece la imagen 𝑃𝑃𝐸𝐸𝑃𝑃 y enmarcado en un recuadro rojo la zona (inferior izquierda) que se amplía en las siguientes columnas, al objeto de apreciar el detalle de la transformación geométrica. Las siguientes columnas representan la imagen distorsionada en la primera iteración, la quinta y la décima consecutivamente. La primera fila muestra una traslación horizontal, y, a partir de ahí, una traslación vertical, diagonal y, por último, una rotación. Metodología para la evaluación de la robustez y sensibilidad de los índices de calidad 91 Traslación horizontal Traslación Vertical Traslación Diagonal Rotación Imagen Fuente I. distorsionada, n=1 I. distorsionada, n=5 I. distorsionada, n=10 Figura 4.11. Ejemplo de transformación geométrica aplicada a cada imagen de referencia. 4.3.3 Evaluación basada en el sistema visual humano La evaluación de los índices de calidad basada en el sistema visual humano tiene por objetivo determinar la cercanía de las medidas cuantitativas con la percepción del observador. Es decir, averiguar qué medida objetiva se aproxima más a la evaluación proporcionada por un conjunto de personas. La Figura 4.12 muestra el esquema aplicado para esta evaluación. El conjunto de datos de referencia se analiza por dos vías paralelas. Por un lado, se evalúa la calidad subjetiva y, por otro, se calculan los índices cuantitativos. En última instancia, para establecer la 98 Capítulo 5 Por último, se incluye un resumen del capítulo con las líneas generales y conclusiones más destacadas que se pueden encontrar en él. 5.2 Análisis de la robustez y sensibilidad de los índices de calidad En este apartado se presentan los resultados obtenidos a partir de los datos y procedimientos descritos en los capítulos precedentes. De su estudio se extraerá el análisis de la robustez y sensibilidad de los índices de calidad frente a distorsiones espectrales y espaciales. 5.2.1 Evaluación frente a distorsiones espectrales Como se indicó en el capítulo anterior, la metodología utilizada para la evaluación de los índices de calidad frente a distorsiones espectrales consiste en distorsionar artificialmente las imágenes 𝑀𝑀𝑀𝑀 y sintética empleadas como datos de partida, aplicando, para ello, un algoritmo iterativo que modifica secuencialmente la intensidad de los píxeles de cada banda original. El resultado final es un conjunto de imágenes que incrementan su distancia espectral a medida que se van calculando. Esto ocurre hasta la mitad del test, momento en que la diferencia espectral decrece como consecuencia de que el incremento de intensidad aplicado a cada banda comienza a equilibrarse. En este punto, las imágenes distorsionadas comparadas con su referencia comienzan a tener un mayor parecido en términos de percepción visual, hasta alcanzar la mayor semejanza en último elemento de la serie de imágenes artificiales. Los índices de calidad espectral analizados con esta metodología son el 𝐶𝐶𝐶𝐶, 𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝑀𝑀, 𝑄𝑄/𝑄𝑄4 y 𝑀𝑀𝐸𝐸𝑀𝑀 contrastados entre sí y con el propuesto en este trabajo, ERGAS-IHS . Al hilo de lo señalado en el párrafo anterior, la respuesta esperada de estas medidas es una curva con un punto de inflexión hacia la mitad del test. La variación de intensidad se generó de dos formas distintas dando lugar a lo que se ha denominado Test de Contraste y Test de Brillo. • Resultados del Test de Contraste La Figura 5.1 muestra los resultados del Test de Contraste (Ec. 4.1) aplicado a cada una de las imágenes 𝑀𝑀𝑀𝑀 y sintética de la Figura 4.2. El eje horizontal corresponde al contador de la secuencia de distorsión (de 1 a 75 pasos) mientras que el vertical indica el valor calculado del índice de calidad entre la imagen distorsionada y su referencia original. Al objeto de una mejor representación comparativa estos valores han sido normalizados con respecto al máximo de cada serie. De esta manera, 1, indica máxima calidad espectral para el índice 𝑄𝑄/𝑄𝑄4 y CC , mientras que para el resto de los índices corresponde a la peor calidad espectral medida entre la imagen distorsionada artificialmente y la original. El valor de la CC entre las imágenes no se representa ya que su valor es uno y permanece constante a lo largo del desarrollo del test. Este resultado se puede deducir de su expresión matemática combinada con la de la generación de distorsión. Lógicamente, este comportamiento nos indica la incapacidad de esta medida para detectar variaciones de intensidad entre las imágenes objeto de análisis. Resultados de la evaluación de los índices en imágenes fusionadas 99 A simple vista se aprecian dos tipos de respuestas distintas en las medidas sobre imágenes reales (Figura 5.1.(a)-(d)). Por un lado las curvas de los índices ERGAS-IHS y 𝑀𝑀𝐸𝐸𝑀𝑀 en color naranja (trazo continuo) y amarillo (discontinuo) respectivamente. Por otra, las correspondientes a los índices 𝑄𝑄/𝑄𝑄4 y 𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝑀𝑀 en gris (línea de punto y raya) y azul (punteada) cada una. En la respuesta del ERGAS-IHS y del SAM , tras un incremento inicial que corresponde a un mayor error espectral, se observa un punto de inflexión a partir del cual la representación indica una menor distancia entre la imagen distorsionada y original. La posición en que se produce este cambio depende del peso de cada banda espectral en el total de la imagen. (a) (b) (c) (d) (e) Figura 5.1. Resultados del Test de Contraste aplicado a imágenes MS: (a) Imagen Geoeye, (b) Imagen Ikonos, (c) Imagen Quickbird (QB16), (d) Imagen Quickbird (QB24) y (e) Imagen Sintética. En contraste, la respuesta del 𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝑀𝑀 presenta una curva creciente, y, decreciente la del 𝑄𝑄/𝑄𝑄4. Ello quiere decir que ambos índices indican un aumento progresivo de la distancia espectral entre la imagen original y la imagen distorsionada en oposición a la experiencia visual descrita en el Capítulo 4, ya que al final el test se han distorsionado por igual las 3 1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 0 0,2 0,4 0,6 0,8 1 1,2 Paso (n) Valor normalizado del índice ERGAS ERGAS_IHS Q4 sam 1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 0 0,2 0,4 0,6 0,8 1 1,2 Paso (n) Valor normalizado del índice ERGAS ERGAS_IHS Q4 sam 1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 0 0,2 0,4 0,6 0,8 1 1,2 Paso (n) Valor normalizado del índice ERGAS ERGAS_IHS Q4 sam 1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 0 0,2 0,4 0,6 0,8 1 1,2 Paso (n) Valor normalizado del índice ERGAS ERGAS_IHS Q4 sam 1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 0 0,2 0,4 0,6 0,8 1 1,2 Paso (n) Valor normalizado del índice ERGAS ERGAS_IHS Q4 sam 100 Capítulo 5 bandas y, en consecuencia, el color es el mismo; aunque este comportamiento varía parcialmente cuando el Test de Contraste se aplica a la imagen sintética (Figura 5.1.(e)). Así los índices 𝑄𝑄/𝑄𝑄4 y 𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝑀𝑀 producen una medida similar a la comentada anteriormente. En cambio, el valor del 𝑀𝑀𝐸𝐸𝑀𝑀 se mantiene prácticamente constante y en la curva ERGAS-IHS aparecen variaciones de valor bruscas. Ambas particularidades son consecuencia de la construcción de la imagen sintética a partir de tonos puros de color e intensidades de blanco y negro. Ello implica que la fórmula del cálculo del 𝑀𝑀𝐸𝐸𝑀𝑀 arroje un valor que crece casi inapreciablemente y la del ERGAS-IHS pequeños saltos como consecuencia de la definición trigonométrica del espacio 𝐼𝐼𝐼𝐼𝑀𝑀. Por último, los índices 𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝑀𝑀 y ERGAS-IHS presentan la mayor sensibilidad a variaciones pequeñas de intensidad, frente al índice 𝑀𝑀𝐸𝐸𝑀𝑀 y, sobre todo, el 𝑄𝑄/𝑄𝑄4 donde el desplazamiento sobre su valor ideal (uno) es difícil de apreciar a la escala representada. A su vez, ya se ha indicado, que la medida CC no es sensible a este tipo de distorsiones. Además el índice 𝑀𝑀𝐸𝐸𝑀𝑀 presenta una rápida transición desde su valor ideal al inicio de test y su cálculo se vuelve inestable para valores de píxel muy oscuros por su propia definición como un cociente en cuyo denominador aparecerían números cercanos a 0. • Resultados del Test de Brillo De forma similar a la Figura 5.1, la Figura 5.2 presenta los resultados del Test de Brillo (Ec. 4.2) aplicado a las imágenes 𝑀𝑀𝑀𝑀 y sintética (Figura 4.2). Los ejes de ordenadas y abscisas tienen la misma disposición en ambas representaciones gráficas. Empleándose, a su vez, el tipo de trama y color de la figura previa, así como la misma estrategia de representación normalizada. Vuelven a apreciarse dos resultados distintos. De un lado, las respuestas de los índices 𝑄𝑄/𝑄𝑄4 y 𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝑀𝑀 indican que las imágenes son disímiles espectralmente a medida que progresa la secuencia del Test de Brillo. De otro, la que generan los índices ERGAS-IHS y 𝑀𝑀𝐸𝐸𝑀𝑀 con una curva con un crecimiento inicial hasta llegar a un máximo a partir del cual son mayoritariamente decrecientes. Con respecto a la 𝐶𝐶𝐶𝐶 su resultado vuelve a ser constante (uno) en todo el test, por las misma consideraciones matemáticas. No cabe otra interpretación en este caso que la referida en el Test de Contraste. Así los valores de ERGAS-IHS y SAM alcanzan un máximo a partir del que señalan una aproximación entre los parecidos espectrales de las imágenes comparadas. A la vista de la Figura 5.2.(c), es notorio que todos los índices fallan en el Test de Brillo cuando se usa de referencia la imagen QB16, posiblemente, debido a la distribución espectral de la propia imagen. La imagen sintética de la Figura 5.2.(e) admite una análisis semejante al descrito para el Test de Contraste. La única particularidad apreciable es el comportamiento del índice 𝑀𝑀𝐸𝐸𝑀𝑀 que es siempre creciente hasta alcanzar su valor máximo al final del test. Esta respuesta es fácilmente deducible desde las ecuaciones del algoritmo de distorsión aplicadas sobre la del índice y las reflexiones ya observadas sobre la composición de la imagen sintética. Por último, la sensibilidad de los índices frente a las variaciones espectrales que se aplican en el Test de Brillo no son significativamente distintas de las ya consideradas, Resultados de la evaluación de los índices en imágenes fusionadas 101 correspondiendo la mayor sensibilidad a los índices 𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝑀𝑀 y ERGAS-IHS frente al índice 𝑀𝑀𝐸𝐸𝑀𝑀 y, sobre todo, al 𝑄𝑄/𝑄𝑄4. En cuanto a este aspecto, el peor índice es el CC que no muestra variación frente a estos cambios. (a) (b) (c) (d) (e) Figura 5.2. Resultados del Test de Brillo aplicado a imágenes multiespectrales: (a) Imagen Geoeye, (b) Imagen Ikonos, (c) Imagen Quickbird (Q16), (d) Imagen Quickbird (QB24) y (e) Imagen Sintética. En conclusión, el buen comportamiento de los índices ERGAS-IHS y 𝑀𝑀𝐸𝐸𝑀𝑀 en ambas pruebas de variación de intensidad reflejan su utilidad como indicadores de la calidad espectral y su destacable proximidad a los resultados de una evaluación cualitativa. Además, la buena sensibilidad frente a las variaciones de intensidad pequeñas del índice propuesto, ERGAS-IHS , unido a los problemas de cálculo del índice 𝑀𝑀𝐸𝐸𝑀𝑀, hacen pensar que una aproximación como la descrita en esta tesis resulta robusta para una evaluación cuantitativa de la calidad espectral de las imágenes fusionadas de teledetección. 1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 0 0,2 0,4 0,6 0,8 1 1,2 Paso (n) Valor normalizado del índice ERGAS ERGAS_IHS Q4 sam 1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 0 0,2 0,4 0,6 0,8 1 1,2 Paso (n) Valor normalizado del índice ERGAS ERGAS_IHS Q4 sam 1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 0 0,2 0,4 0,6 0,8 1 1,2 Paso (n) Valor normalizado del índice ERGAS ERGAS_IHS Q4 sam 1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 0 0,2 0,4 0,6 0,8 1 1,2 Paso (n) Valor normalizado del índice ERGAS ERGAS_IHS Q4 sam 1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 0 0,2 0,4 0,6 0,8 1 1,2 Paso (n) Valor normalizado del índice ERGAS ERGAS_IHS Q4 sam 102 Capítulo 5 5.2.2 Evaluación frente a distorsiones espaciales Tal y como se describió en el Capítulo 4, las imágenes 𝑃𝑃𝐸𝐸𝑃𝑃 asociadas a las imágenes 𝑀𝑀𝑀𝑀 utilizadas como datos para este trabajo de investigación, se distorsionaron geométricamente con el fin de evaluar el funcionamiento de los índices espaciales frente a posibles diferencias geométricas entre las imágenes empleadas en el proceso de fusión. Para tal fin, se ideó un test que consistía en distorsionar la imagen 𝑃𝑃𝐸𝐸𝑃𝑃 original desplazándola vertical, horizontal o diagonalmente en pasos de un píxel. Se obtenía así, una imagen modificada geométricamente con respecto a la de referencia que permite evaluar la respuesta de los índices de calidad espacial frente a estas variaciones. Del mismo modo, se rotó la imagen en ángulos de un cuarto de grado para completar el conjunto de deformaciones artificiales programado. Estas pruebas se aplicaron a las cuatro imágenes reales de la base de datos (Figura 4.11), empleando para ello cinco indicadores de la calidad espacial: índice 𝑍𝑍ℎ𝑜𝑜𝑜𝑜, S-ERGAS , 𝐶𝐶𝐸𝐸𝐶𝐶, SRMSE y el propuesto para este trabajo, índice 𝐹𝐹𝐶𝐶. Tabla 5.1 Porcentaje de series de medidas de índices de calidad sin errores numéricos. Índice 𝒁𝒁𝒁𝒁𝒁𝒁𝒁𝒁 𝑺𝑺−𝑬𝑬𝑬𝑬𝑬𝑬𝑬𝑬𝑺𝑺 𝑪𝑪𝑬𝑬𝑪𝑪 𝑺𝑺−𝑬𝑬𝑹𝑹𝑺𝑺𝑬𝑬 𝑭𝑭𝑪𝑪 Series sin error 43,75% 43,75% 25% 50% 56,25% En resumen, para cada índice se obtuvieron 16 series numéricas (4 transformaciones por 4 imágenes) de 10 valores cada una. Cada valor corresponde al resultado de la medida de calidad en un paso del test de transformaciones geométrica ya descrito. El comportamiento esperado del índice implicaría un resultado progresivamente peor de la evaluación de la calidad de la imagen a medida que el test progresa, es decir, existe una mayor distorsión geométrica. En este sentido, el número de series en las que hubo al menos un fallo en la tendencia esperada de la medida es de 7 sobre 16 para el índice 𝐹𝐹𝐶𝐶 y 8 sobre 16 para el índice S-RMSE . El resto de los índices presentan más series con errores. En la Tabla 5.1 se resume este aspecto. Los resultados de la aplicación del Test de Transformaciones Geométricas para cada índice aparecen representados desde la Figura 5.3 a la Figura 5.6 . En ellas, los valores de los distintos indicadores se ordenan por transformación geométrica y para cada imagen. Se ha escogido esta representación debido al número elevado de distorsiones diferentes analizadas. Analizando en detalle dichas figuras podemos extraer las siguientes observaciones para cada índice. • Índice 𝒁𝒁𝒁𝒁𝒁𝒁𝒁𝒁 La Figura 5.3 presenta la respuesta de este índice frente a las distintas transformaciones geométricas aplicadas a cada imagen 𝑃𝑃𝐸𝐸𝑃𝑃. Ya que se basa en la correlación, lo esperado es que su valor disminuya a medida que el test progresa. Por tanto, se puede considerar que existen resultados erróneos para este índice. Por ejemplo, para traslación horizontal a partir de un desplazamiento de 3 píxeles observando la curva de la imagen QB24 o de 5 píxeles si reparamos en la de la imagen Ikonos . Del mismo modo, en todas las curvas de traslación Resultados de la evaluación de los índices en imágenes fusionadas 103 vertical, para un desplazamiento de 3 píxeles, y, a partir de 2, para traslación diagonal en todas las imágenes salvo en la respuesta para la Geoeye . En cambio, no hay errores en las series de rotación. (a) (b) (c) (d) Figura 5.3. Resultados del Test de Transformaciones Geométricas para el índice 𝑍𝑍ℎ𝑜𝑜𝑜𝑜: (a) Traslación horizontal, (b) Traslación vertical, (c) Traslación diagonal y (d) Rotación. • Índice S-ERGAS Como se puede deducir de la Figura 5.4, el S-ERGAS también presenta los resultados deseables para la rotación en función de su definición, es decir, un incremento de los valores del índice que indica mayor diferencia en el contenido espacial progresivamente. En cambio, falla en la traslación horizontal a partir de un desplazamiento de 8 píxeles para la imagen Ikonos . Lo mismo sucede en la traslación vertical para todas las imágenes excepto la Geoeye (desplazamiento de más de 7 píxeles para la imagen Ikonos , 3 para la QB16 y 7 para la QB24 ) y la traslación diagonal en todas las imágenes (6 píxeles para la imagen Geoeye , 5 píxeles imagen Ikonos , 4 píxeles para las Quickbird ). • Índice 𝑪𝑪𝑬𝑬𝑪𝑪 La Figura 5.5 permite observar que el índice 𝐶𝐶𝐸𝐸𝐶𝐶 falla en todas las series representadas frente a lo que sería una medida adecuada: una reducción progresiva de su valor como cabría esperar de una menor correspondencia entre los bordes de la imagen original y la distorsionada. Al igual que en los casos anteriores, se mantiene un buen comportamiento frente a las rotaciones. Aparecen resultados erróneos en la traslación horizontal para las imágenes Ikonos y Q24 donde el valor medido no es correcto a partir de un desplazamiento de 3 y 4 píxeles 0,40 0,45 0,50 0,55 0,60 0,65 0,70 0,75 0,80 0,85 0,90 12345678910 Valor del ïndice Paso (n) Geoeye Ikonos QB16 QB24 0,40 0,45 0,50 0,55 0,60 0,65 0,70 0,75 0,80 0,85 0,90 12345 6 7 8 9 10 Valor del ïndice Paso (n) Geoeye Ikonos QB16 QB24 0,40 0,45 0,50 0,55 0,60 0,65 0,70 0,75 0,80 12345678910 Valor del ïndice Paso (n) Geoeye Ikonos QB16 QB24 0,40 0,50 0,60 0,70 0,80 0,90 1,00 1,10 1 2 3 4 5 6 7 8 9 10 Valor del ïndice Paso (n) Geoeye Ikonos QB16 QB24 104 Capítulo 5 respectivamente. Algo similar sucede en la traslación vertical para la imagen Geoeye y QB24 (desplazamientos a partir de 4 y 3 píxeles). Así como, en la traslación diagonal para las imágenes Ikonos y QB24 y desplazamientos superiores a 4 y 3 píxeles. (a) (b) (c) (d) Figura 5.4. Resultados del Test de Transformaciones Geométricas para el índice 𝑀𝑀−𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝑀𝑀: (a) Traslación horizontal, (b) Traslación vertical, (c) Traslación diagonal y (d) Rotación. • Índice S-RMSE La Figura 5.6 representa la variación durante el test de transformaciones geométricas del índice S-RMSE . Lo esperado sería un aumento progresivo del valor del índice indicando un mayor error cuadrático medio a medida que la distorsión introducida en la imagen es más alta. En este sentido, se constatan errores para la series de traslación horizontal correspondiente a las imágenes Ikonos y QB24 a partir de 6 píxeles de desplazamiento. En todas las series de traslación vertical el comportamiento no es adecuado a partir de 5 píxeles para la imagen Geoeye, 6 para las Quickbird y 8 para la Ikonos. En traslación diagonal hay errores para todas las imágenes excepto la Geoeye, siendo 3 píxeles en el desplazamiento más bajo a partir del cual se genera error. Además, es el único índice que falla en la rotación, si bien para ángulos mayores de 2 grados en la imagen QB24. 0,4 1,4 2,4 3,4 4,4 5,4 6,4 7,4 8,4 12345678910 Valor del Índice Paso (n) Geoeye Ikonos QB16 QB24 0,4 1,4 2,4 3,4 4,4 5,4 6,4 7,4 8,4 1 2 345678910 Valor del Índice Paso (n) Geoeye Ikonos QB16 QB24 0,4 1,4 2,4 3,4 4,4 5,4 6,4 7,4 8,4 12345678910 Valor del Índice Paso (n) Geoeye Ikonos QB16 QB24 0,0 1,0 2,0 3,0 4,0 5,0 6,0 12345678910 Valor del Índice Paso (n) Geoeye Ikonos QB16 QB24 Resultados de la evaluación de los índices en imágenes fusionadas 105 (a) (b) (c) (d) Figura 5.5. Resultados del Test de Transformaciones Geométricas para el índice 𝐶𝐶𝐸𝐸𝐶𝐶: (a) Traslación horizontal, (b) Traslación vertical, (c) Traslación diagonal y (d) Rotación. (a) (b) (c) (d) Figura 5.6. Resultados del Test de Transformaciones Geométricas para el índice 𝑀𝑀−𝐸𝐸𝑀𝑀𝑀𝑀𝐸𝐸: (a) Traslación horizontal, (b) Traslación vertical, (c) Traslación diagonal y (d) Rotación. 0 5 10 15 20 25 30 35 40 45 50 12345678910 Valor del Índice Paso (n) Geoeye Ikonos QB16 QB24 0 5 10 15 20 25 30 35 40 45 50 12345678910 Valor del Índice Paso (n) Geoeye Ikonos QB16 QB24 0 5 10 15 20 25 30 12345678910 Valor del Índice Paso (n) Geoeye Ikonos QB16 QB24 0 20 40 60 80 100 120 12345678910 Valor del Índice Paso (n) Geoeye Ikonos QB16 QB24 0,0 5,0 10,0 15,0 20,0 25,0 30,0 12345678910 Valor del Índice (n) Geoeye Ikonos QB16 QB24 0,0 5,0 10,0 15,0 20,0 25,0 30,0 12345678910 Valor del Índice (n) Geoeye Ikonos QB16 QB24 0,0 5,0 10,0 15,0 20,0 25,0 30,0 12345678910 Valor del Índice (n) Geoeye Ikonos QB16 QB24 0,0 5,0 10,0 15,0 20,0 25,0 12345678910 Valor del Índice (n) Geoeye Ikonos QB16 QB24 106 Capítulo 5 (a) (b) (c) (d) Figura 5.7. Resultados del Test de Transformaciones Geométricas para el índice 𝐹𝐹𝐶𝐶: (a) Traslación horizontal, (b) Traslación vertical, (c) Traslación diagonal y (d) Rotación. • Índice 𝑭𝑭𝑪𝑪 La Figura 5.7 muestra los resultados del test para el índice 𝐹𝐹𝐶𝐶 que debería seguir un comportamiento teórico similar al descrito para el índice 𝑍𝑍ℎ𝑜𝑜𝑜𝑜, esto es, una pérdida de valor a medida que se produce mayor distorsión en la imagen. Sin embargo, se aprecia que genera valores erróneos para la imagen Geoeye y traslación horizontal a partir de 8 píxeles, traslación vertical a partir de 8 píxeles para la imagen Ikonos y 6 para la imagen QB24 , y en la traslación diagonal para todas las imágenes y desplazamientos de 5, 10, 4 y 4 píxeles en el orden de representación de las figuras. De forma similar a los anteriores índices el comportamiento frente a la rotación es bueno. En cuanto a la sensibilidad de los índices frente a variaciones geométricas, entendiendo por tal el incremento o decremento de su valor en presencia de una distorsión, la comparación proporcionada a través de las figuras anteriores muestra que, a la escala representada, los índices Zhou y S-RMSE son los que menor sensibilidad presentan. Seguidamente S-ERGAS y 𝐶𝐶𝐸𝐸𝐶𝐶 exhiben una sensibilidad media. Finamente, se puede considerar alta la observada para el FC . Considerando los resultados expuestos en esta sesión, el índice propuesto 𝐹𝐹𝐶𝐶 es el más robusto para degradaciones severas por número de errores frente a transformaciones geométricas y, además, dichos errores se generan para desplazamientos considerables de píxel (siempre más de 4 píxeles). Por tanto, se puede concluir que este nuevo índice es un indicador fiable aplicable a la medida de la calidad de las imágenes fusionadas de teledetección. Sin duda el índice 𝐶𝐶𝐸𝐸𝐶𝐶 es el menos aconsejado para una evaluación de la calidad espacial si se sospecha u observa que las imágenes fusionada y 𝑃𝑃𝐸𝐸𝑃𝑃 de referencia presentan alguna -0,1 0,0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 12345678910 Valor del Índice Paso (n) Geoeye Ikonos QB16 QB24 -0,1 0,0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 12345678910 Valor del Índice (n) Geoeye Ikonos QB16 QB24 -0,1 0,0 0,1 0,2 0,3 0,4 0,5 12345678910 Valor del Índice (n) Geoeye Ikonos QB16 QB24 0,0 0,2 0,4 0,6 0,8 1,0 1,2 1 2 3 4 5 6 7 8 9 10 Valor del Índice Paso (n) Geoeye Ikonos QB16 QB24 Resultados de la evaluación de los índices en imágenes fusionadas 107 distorsión geométrica entre ellas, por ejemplo, un pobre corregistro. En cuanto, al S-RMSE , a pesar de que da el segundo mejor resultado en las series de test, su sensibilidad a los cambios es baja. Con respecto a los índices más aplicados en la literatura relativa a pan-sharpening, desde el punto de vista analizado, aunque tanto el índice 𝑍𝑍ℎ𝑜𝑜𝑜𝑜 y el S-ERGAS tienen una tasa similar de errores en los resultados de los test de trasformaciones geométricas, la sensibilidad de este último frente a variaciones hace más recomendable su empleo, si se presumen errores de registración. 5.3 Resultados de la evaluación de los índices en imágenes fusionadas En esta sección se presentan los resultados de la evaluación de los índices cuando se aplican a imágenes fusionadas. Lógicamente, se ha de partir de una evaluación a priori de los resultados esperados, esto es, de la calidad observable en los algoritmos de fusión. El estudio previo de los capítulos 2 y 3, y la inspección visual nos proporcionan este conocimiento. Las imágenes utilizadas para esta evaluación son las que se incluyen en la Figuras 4.3-4.6. A modo de ejemplo, en la Figura 5.8 se puede observar el detalle espacial y espectral de una zona de una de las imágenes fusionadas a partir de los datos originales. Al lado de cada imagen se encuentra la información de bordes que se han extraído aplicando un filtro de Canny. En la primera fila aparece, a la izquierda, la imagen 𝑃𝑃𝐸𝐸𝑃𝑃 donde un rectángulo rojo indica la zona utilizada para la extracción de detalle. En el lado derecho la imagen 𝑀𝑀𝑀𝑀 y, a su lado, su contenido de altas frecuencias. En las sucesivas filas van apareciendo las áreas correspondientes a las diferentes fusiones. El análisis visual de los datos representados en la Figura 5.8 coincide, como cabría esperar, con lo referido en el Capítulo 4 sobre la calidad espacial y espectral de los productos que generan los algoritmos de fusión. En este sentido, requiere esfuerzo encontrar diferencias entre los bordes de las fusiones que se encuentran en segunda y tercera fila (métodos algebraicos y de substitución de componentes) y los de la imagen 𝑃𝑃𝐸𝐸𝑃𝑃. Al contrario, espectralmente se aprecia a simple vista la mayor distorsión respecto a la imagen 𝑀𝑀𝑀𝑀 (una buena referencia es observar el color de la piscina). Todo lo contrario se aprecia en las últimas tres filas de la misma figura. En ellas, la correlación entre los colores de las imágenes 𝐹𝐹𝐹𝐹𝑀𝑀 y la 𝑀𝑀𝑀𝑀 de la primera fila es alta (de nuevo el detalle del color de la piscina es un buen indicativo). Sin embargo, se aprecian con mayor facilidad pérdida o alteración de información espacial con respecto a la que contiene la imagen 𝑃𝑃𝐸𝐸𝑃𝑃. Especialmente en la aplicación de algoritmo 𝑇𝑇𝑇𝑇𝑇𝑇 donde se puede apreciar un efecto de doble borde (piscina, chimenea). Los otros métodos también presentan pérdida o distorsión de alta frecuencia, compárese, por ejemplo, las correspondientes a los vehículos. A continuación se presentan los resultados obtenidos para la evaluación cualitativa, y cuantitativa basada en píxel y objeto. 114 Capítulo 5 similitud en los detalles con la imagen 𝑃𝑃𝐸𝐸𝑃𝑃, aparecen en los algoritmos Brovey , PCA , IHS y eIHS en oposición a los resultados que se obtienen de evaluar la calidad en las imágenes obtenidas mediante la ejecución de algoritmos basados en Transformada Wavelet. En cuanto al 𝐸𝐸𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀, representado por la barra gris de la Figura 5.11, se puede afirmar que representa una medida global que muestra el equilibrio entre calidad espectral y espacial tal y como se puede deducir de la propia observación de la imágenes fusionadas que se mostraban en el Capítulo 3, o de la reflexión detallada suministrada al comienzo de esta capítulo. Cuanto más pequeño es su valor, más próxima se encuentra la imagen pan-sharpened a su síntesis ideal. No obstante, en las ecuaciones (3.86) y (3.87), se pueden incluir unos coeficientes para darle mayor relevancia a la mejora espacial o espectral en función de la aplicación final del proceso de fusión. (a) (b) (c) (d) Figura 5.11. Resultados de aplicación en imágenes fusionadas del índice SSIM, MSSIM y GSSIM: (a) Fusiones de la imagen Geoeye, (b) Fusiones de la imagen Ikonos, (c) Fusiones de la imagen QB16 y (d) Fusiones de la imagen QB24. 0 0,2 0,4 0,6 0,8 1 1,2 Algoritmo de Fusión Valor del Índice SSIM MSSIM GSSIM 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Algoritmo de Fusión Valor del Índice SSIM MSSIM GSSIM 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Algoritmo de Fusión Valor del Índice SSIM MSSIM GSSIM 0 0,2 0,4 0,6 0,8 1 1,2 Algoritmo de Fusión Valor del Índice SSIM MSSIM GSSIM Resultados de la evaluación de los índices en imágenes fusionadas 115 5.3.3 Evaluación cuantitativa basada en objeto Los resultados de la evaluación cuantitativa basada en objeto y su análisis se recogen en este apartado. Con este fin, se procesaron las cuatro imágenes correspondientes a datos reales a partir de los cuales se generaron, como en las secciones precedentes, nueve productos de fusión. Considerando este elevado número de imágenes sintetizadas, que da lugar a ciento ocho mapas de calidad distintos, se ha optado por representar a continuación sólo una muestra representativa de la esta información. En el Anexo 1 se incluye una serie completa de mapas de calidad para las imágenes fusionadas a partir de la imagen QB24 . Así, en la primera fila de la Figura 5.12, aparece una de las imágenes 𝑀𝑀𝑀𝑀 originales (Geoeye) junto a dos productos de fusión: Brovey y À trous ponderado a través de la dimensión fractal. A priori se conocen las características espaciales y espectrales de ellos. Mejor calidad espacial para el primero frente al segundo. Espectralmente, el resultado se supone el inverso. La segunda cualidad es claramente apreciable, no así la primera a la resolución de la representación. En la segunda fila de la misma figura se observan los mapas de calidad espectral de ambas imágenes fusionadas. Cuanto más cercano a uno es el resultado del índice, mayor es la calidad espectral medida. Se utiliza una representación en falso color de forma que se aprecien mejor las diferentes zonas y valores. Es importante destacar que los rangos abarcados por las paletas de color son diferentes para facilitar su visualización. A este nivel de detalle, se observa que la calidad espectral medida por zonas es superior en la fusión AW-DF , sin embargo, existen áreas de la imagen (la zona de las embarcaciones, el mar, o la carretera, por ejemplo) donde esta distinción es más confusa. Claramente, este mapa de calidad para la fusión 𝐵𝐵𝐵𝐵𝑜𝑜𝐵𝐵𝐵𝐵𝐵𝐵 delimita las zonas de vegetación (colores amarillos y ocres) donde el resultado espectral es muy pobre. A continuación, en la siguiente fila, aparecen los mapas espaciales correspondientes a ambas fusiones. De forma similar a la representación anterior, las imágenes aparecen en falso color, indicando la proximidad a uno la mayor calidad para esta característica de cada zona. Globalmente, la imagen obtenida usando el algoritmo de 𝐵𝐵𝐵𝐵𝑜𝑜𝐵𝐵𝐵𝐵𝐵𝐵 obtiene mejores resultados. Aunque, al igual que sucedía con la experiencia espectral, existen áreas donde esta afirmación no es tan sólida, detalle que se puede observar en el área bajo la carretera o la zona de edificaciones, por ejemplo. Por último, la combinación de estos dos mapas espectral y espacial en un único mapa global siguiendo la estrategia descrita en el Capítulo 3, aparece reflejada en la última fila de la Figura 5.12. El error mapeado en falso color es menor cuanto más bajo es su valor numérico. El análisis de ellos permite, primero, constatar que la calidad global, en términos de menor distancia al mapa del objeto ideal, no es homogénea para las fusiones y que, segundo, de acuerdo a la inspección visual, no se puede afirmar que la calidad de la imagen generada por un método sea contundentemente mejor. Al contrario, y de acuerdo con la percepción de las imágenes 𝐹𝐹𝐹𝐹𝑀𝑀 cuando se contrastan con la 𝑀𝑀𝑀𝑀 original la calidad observada depende de la zona de la imagen donde se ponga el foco de atención. Con objeto de una mejor visualización y análisis de los resultados obtenidos utilizando esta nueva metodología se presentan dos cortes correspondientes a la imagen Geoeye en zonas con 116 Capítulo 5 características diferenciadas. La primera, Figura 5.13-5.16 con gran variedad espacial y la segunda, Figura 5.17-5.20 con un área más homogénea. Para cada una de ellas, se representa la imagen de intensidad sintetizada a partir de la 𝐹𝐹𝐹𝐹𝑀𝑀 (𝐼𝐼𝐹𝐹𝐹𝐹𝐹𝐹), la generada tras la reducción de mínimos (𝐼𝐼󰆹𝐹𝐹𝐹𝐹𝐹𝐹) y, por último, la información de los bordes de los objetos (𝑂𝑂𝐹𝐹𝐹𝐹𝐹𝐹) para cada corte y fusión. (a) (b) (c) (d) (e) (f) (g) (h) (i) Figura 5.12. Fusiones Brovey y AW-DF de la imagen Geoeye y mapas de calidad: (a) Imagen MS, (b) Fusión Brovey, (c) Fusión AW-DF, (d) M. Espectral Brovey, (e) M. Espectral AW-DF, (f) M. Espacial Brovey, (g) M. Espacial AW-DF, (h) M. Global Brovey, (i) M. Global AW-DF. Resultados de la evaluación de los índices en imágenes fusionadas 117 PAN MS Brovey PCA IHS eIHS Figura 5.13. Sub-imagen 1 de la imagen Geoeye. Por columnas: I_fus, I_fus filtrada y bordes para métodos de sustitución y aritméticos. 118 Capítulo 5 TWD AW AW-PCA AW-IHS AW-DF Figura 5.14. Sub-imagen 1 de la imagen Geoeye. Por columnas: I_fus, I_fus filtrada y bordes para métodos basados en Transformada Watershed. Resultados de la evaluación de los índices en imágenes fusionadas 119 • Análisis de la Sub-imagen 1 La Figura 5.13 contiene las imágenes ampliadas correspondientes a la zona denominada Subimagen 1 para los algoritmos de sustitución de componentes y aritméticos. De izquierda a derecha se aprecian las correspondientes imágenes intermedias generadas antes de la obtención de los mapas de calidad: 𝐼𝐼𝐹𝐹𝐹𝐹𝐹𝐹, 𝐼𝐼󰆹𝐹𝐹𝐹𝐹𝑀𝑀 y 𝑂𝑂𝐹𝐹𝐹𝐹𝐹𝐹. Indicando la primera, la imagen de intensidad obtenida a partir de la imagen fusionada, la segunda, la imagen de intensidad tras reducir el número de mínimos y, la tercera, los objetos obtenidos a partir de esta última. También se ha incluido, a modo de referencia, en la primera fila de la Figura 5.13, el corte correspondiente a la imagen 𝑃𝑃𝐸𝐸𝑃𝑃, y el resultado si se procesara siguiendo el esquema de la 𝐹𝐹𝐹𝐹𝑀𝑀, esto es, 𝑃𝑃𝐸𝐸𝑃𝑃 � y 𝑂𝑂𝑃𝑃𝑃𝑃𝑃𝑃. De la misma forma, en la segunda fila aparecen 𝐼𝐼𝑀𝑀𝐹𝐹, 𝐼𝐼󰆹𝑀𝑀𝐹𝐹 y 𝑂𝑂𝑀𝑀𝐹𝐹. La Figura 5.14 tiene una estructura similar a la descrita antes pero para las imágenes correspondientes a los algoritmos basados en Transformada Wavelet, exceptuando los cortes relativos a la 𝑃𝑃𝐸𝐸𝑃𝑃 y 𝑀𝑀𝑀𝑀. Se puede apreciar fácilmente como varía el parecido de las imágenes sintetizadas (𝐼𝐼𝐹𝐹𝐹𝐹𝐹𝐹) de la primera columna con respecto a la correspondiente imagen 𝑃𝑃𝐸𝐸𝑃𝑃 de la primera fila, siendo mayor el de las presentes en la Figura 5.13 con respecto a aquellas en la Figura 5.14 como consecuencia de la mejor calidad espacial de las fusiones. Recordemos que las imágenes de la segunda columna corresponden a la aplicación de la reducción de mínimos que se ejecutaba para evitar la sobre-segmentación producida por la aplicación de la Transformada Watershed. En este sentido, el efecto que se aprecia sobre las imágenes con respecto a las de la columna anterior es similar a una reducción de contraste. Por último, en la tercera columna de ambas figuras están representados los bordes obtenidos para cada una de las fusiones. Ello permite apreciar cómo va variando la información de objetos en función del algoritmo empleado, lo que ya de por sí constituye una cierta información sobre la calidad espacial del proceso de fusión y que coincide con la inspección visual de las imágenes sintetizadas incluidas en la primera columna (𝐼𝐼𝐹𝐹𝐹𝐹𝐹𝐹). El contraste con las referencias de la imagen 𝑀𝑀𝑀𝑀 permite observar hasta qué punto la aplicación de técnicas de pan-shapening mejoran la resolución espacial de la imagen original. En las Figuras 5.15 y 5.16 se han representado los mapas de calidad obtenidos con la metodología propuesta correspondientes a las zonas y algoritmos de las dos figuras anteriores. Al objeto de una mejor visualización se ha seguido el mismo criterio de aplicación de falso color usado en la Figura 5.12. Se señala, nuevamente que el rango de las paletas de color es difernte para facilitar su análisis. De izquierda a derecha en cada fila, aparece el mapa espacial, el mapa espectral y el mapa global de cada imagen fusionada. Aunque para este corte de la imagen el resultado de la calidad espacial (primera columna) parece más homogéneo que en la visión total (sobre todo si se observan los resultados del algoritmo E-IHS en la Figura 5.15), el mapa global vuelve a indicarnos que no es así. Intuitivamente, parece indicar que, por ejemplo, un buen resultado sería aquel que aunase las características escogidas por zonas de la fusión E-IHS con la AW-DF . Se confirman, pues, las tendencias analizadas sobre la calidad observada desde la perspectiva del mapa completo que se repiten a este nivel detalle. La metodología propuesta coincide con 120 Capítulo 5 los valores esperados de la calidad espacial y espectral, pero además aporta un análisis zonal que posiblemente pueda posibilitar técnicas de fusión más sofisticadas y robustas mediante combinación del algoritmo adecuado por áreas de la imagen. Mapa Espacial Mapa Espectral Mapa Global Brovey PCA IHS E-IHS Figura 5.15. Sub-imagen 1. Mapas espaciales, espectrales y globales para métodos de sustitución y aritméticos. Resultados de la evaluación de los índices en imágenes fusionadas 121 Mapa Espacial Mapa Espectral Mapa Global TWD AW AW-PCA AW-IHS AW-DF Figura 5.16. Sub-imagen 1. Mapas espaciales, espectrales y globales para métodos basados en Transformada Wavelet. 122 Capítulo 5 • Análisis de la Sub-imagen 2 Las Figuras 5.17 y 5.18 contienen la información de las imágenes 𝐼𝐼𝐹𝐹𝐹𝐹𝐹𝐹, 𝐼𝐼󰆹𝐹𝐹𝐹𝐹𝐹𝐹 y 𝑂𝑂𝐹𝐹𝐹𝐹𝐹𝐹 en la segunda zona seleccionada de la imagen original para un análisis más detallado. Tal y como se ha comentado la diferencia significativa con la otra área escogida es la poca variabilidad zonal de ésta en contraste con la anterior. La información suministrada por estas imágenes intermedias generadas para la aplicación de metodología propuesta coincide básicamente con la del primer corte analizado, lo que confirma la fiabilidad de esta aproximación. Quizás, desde el punto de vista espacial se pueda observar una similitud mayor de extracción de objetos entre la imagen PAN y los métodos que aplican transformadas que la encontrada en el corte anterior. Siguiendo la misma estrategia de análisis y representación empleada para el Sub-imagen 1, las Figuras 5.19 y 5.20 muestran los mapas espaciales, espectrales y globales para esta zona y cada una de las fusiones realizadas. En coherencia con lo observado hasta ahora se puede determinar una predominancia media de alta calidad espacial en los algoritmos de fusión recogidos en la Figura 5.19, frente a una alta fidelidad espectral en aquellos representados en la Figura 5.20. Sin embargo, si se pone el acento en la calidad global, incluyendo el equilibrio entre calidad espacial y espectral, se observa de nuevo que no se puede afirmar con rotundidad que hay un método de fusión perfecto. En este sentido, la representación de los mapas de objetos aporta un análisis zonal que mejora la perspectiva del enfoque basado en píxel. Resultados de la evaluación de los índices en imágenes fusionadas 123 PAN MS Brovey PCA IHS eIHS Figura 5.17. Sub-imagen 2 de la imagen Geoeye. Por columnas: I_fus, I_fus filtrada y bordes para métodos de sustitución y aritméticos. 130 Capítulo 5 5.4 Resumen En este capítulo se abordó la validación de los índices existentes y propuestos, así como la correspondiente a la metodología de evaluación basada en objetos de acuerdo con los objetivos iniciales de esta tesis. Constituye, por tanto, el punto de confluencia de los capítulos precedentes. En efecto, las características de las imágenes y los algoritmos de fusión empleados aparecen detallados en el Capítulo 2. Del Capítulo 3, se extraen los datos de partida 𝑃𝑃𝐸𝐸𝑃𝑃 y 𝑀𝑀𝑀𝑀 así como los métodos de evaluación de la calidad. Al final, las estrategias de validación se describen en el Capítulo 4. Con este propósito se presentaron en la sección 5.2 los resultados de la evaluación de calidad cuando se aplican los índices de medida a imágenes distorsionadas artificialmente. A partir de ellos, se determinó la robustez y sensibilidad de los indicadores. Dado que se introdujeron distorsiones tanto de intensidad como geométricas, que se usaron para la evaluación del funcionamiento de los índices espectrales y espaciales respectivamente, es posible agrupar los resultados presentados de la siguiente manera: -En primer lugar, se analizaron los resultados de los índices de calidad espectrales 𝑀𝑀𝐸𝐸𝑀𝑀, 𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝑀𝑀, 𝐶𝐶𝐶𝐶, 𝑄𝑄/𝑄𝑄4 junto al definido en este trabajo ERGAS-IHS . Desde la perspectiva con que se plantean los dos test de variación de intensidad (Contraste y Brillo), los resultados muestran que los índices que mejor se adaptan a una medida espectral correcta son el índice SAM y el ERGAS-IHS . Sin embargo, este último presenta mayor sensibilidad de medida (entendida como la respuesta frente a los cambios) y, además el índice 𝑀𝑀𝐸𝐸𝑀𝑀 muestra problemas de cálculo cuando los valores de los píxeles multiespectrales son muy bajos, próximos al negro. -En segundo lugar, se discutió la respuesta de los índices espaciales cuando existe una distorsión geométrica entre la imagen a medir y la de referencia. Esta distorsión es introducida artificialmente mediante el test de variaciones geométricas. Bajo estas circunstancias, las medidas de los índices 𝑍𝑍ℎ𝑜𝑜𝑜𝑜 , S-ERGAS, S-RMSE, 𝐶𝐶𝐸𝐸𝐶𝐶, junto al propuesto 𝐹𝐹𝐶𝐶 se presentan para un análisis comparativo que evidencia la mayor robustez de esta nueva medida (menor número de errores en los test geométricos), unido a su buena sensibilidad frente a pequeñas distorsiones. En la sección 5.3 se encuentran los resultados de la evaluación de los índices cuando se aplican en imágenes fusionadas, ya que la experiencia descrita en la sección anterior no es suficiente para establecer la idoneidad de la utilización de un índice en este ámbito. Adicionalmente es necesario observar los valores medidos sobre las propias imágenes constatando que son acertados. Se emplearon, para este fin, las fusiones generadas a partir de la aplicación de nueve algoritmos distintos sobre los datos de partida. Con el conocimiento a priori de su funcionamiento y con la ayuda de las Figuras 4.6 y 5.8 se analizó el resultado en términos de calidad espectral y espacial de los productos. Se realizó un estudio a tres niveles: -Evaluación apoyada en el Sistema Visual Humano. En ella se analizaron la idoneidad de las distancias empleadas en la formulación de los algoritmos de calidad (el producto escalar o el error cuadrático medio) frente a una propuesta basada en una distancia adaptada a la percepción humana, la 𝐶𝐶𝐼𝐼𝐸𝐸𝑇𝑇𝐸𝐸2000. Los resultados mostraron que esta última aproximación propuesta encaja mejor con la experiencia visual subjetiva contrastada a través de un test MOS . - Evaluación cuantitativa basada en píxel. Se aplicaron todas las medidas espaciales ( Zhou , SERGAS , CEC , S - RMSE y la propuesta en esta tesis, FC ), espectrales ( ERGAS , CC , SAM y las Resultados de la evaluación de los índices en imágenes fusionadas 131 propuestas en esta investigación ERGAS - IHS, CIEDE200) e índices globales ( Q , SSIM junto a los propuestos 𝑀𝑀𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀 y 𝐸𝐸𝑀𝑀𝑀𝑀𝐼𝐼𝑀𝑀) sobre el conjunto de datos fusionados ya descrito. Los resultados muestran que los índices aportados en este trabajo siguen tendencias similares a los ya empleados en las publicaciones científicas y discriminan de acuerdo a lo esperado entre los distintos productos de fusión, pero con las ventajas adicionales de una mayor sensibilidad en la medida. Adicionalmente, se constata que la calidad medida depende del contenido de la imagen, esto es, de la distribución espectral de los píxeles por banda debido al promedio que se realiza para entregar un único número como expresión de la calidad. - Finalmente se abordó la validación de la evaluación cuantitativa basada en objeto a través de los resultados obtenidos de su aplicación en imágenes fusionadas. Se ha generado un alto número de mapas de calidad basados en objetos que se presentan resumidamente a través de dos ejemplos completos (espectral, espacial y global) para dos algoritmos de fusión distintos. También, se seleccionaron dos áreas de una de las imágenes de partida desde las que se examinaron los resultados, en términos de mapas de calidad, para los nueve algoritmos de fusión señalados. Del mismo modo, las imágenes intermedias necesarias como fuente para generar los mapas fueron objeto de análisis de forma que la robustez del proceso de medida ideado quedase comprobada. Toda esta información permite afirmar que la metodología funciona y es robusta, proporcionando un análisis zonal de la calidad que podría posibilitar el desarrollo, o selección previa a la aplicación, de algoritmos de fusión. Por último, se demuestra que desde este enfoque también se puede derivar un valor numérico único (en este caso en función del número de objetos en lugar de píxeles) que concuerda con la medida basado en píxel y, por ende, con la medida de calidad esperada. Para ello se calcularon, representaron y discutieron los datos de evaluación de calidad media basada en objeto comparado con aquellos obtenidos desde el píxel de lo que se concluía la correlación señalada. En resumen, la metodología de evaluación ha demostrado que los nuevos índices propuestos basados en información de píxel proporcionan prestaciones adecuadas para la evaluación de la calidad de las imágenes fusionadas, pero con un mejor comportamiento en presencia de distorsiones propias de las imágenes de teledetección. Del mismo modo, indica que la medida basada en objetos aporta información local de la imagen fusionada constituyendo una aproximación, a la calidad, más cercana a la evaluación cualitativa, siendo, además, posible obtener una medida numérica total robusta similar a la obtenida con un enfoque píxel. 133 CAPÍTULO 6 Conclusiones 6.1 Contribuciones principales as contribuciones principales de este trabajo de tesis doctoral están relacionadas directamente con los objetivos perseguidos y descritos en la introducción que se recoge en el Capítulo 1. Consecuentemente, a continuación se recuerdan las hipótesis iniciales de trabajo, su grado de cumplimiento y se describe con espíritu crítico aquello que se ha logrado o queda abierto a investigaciones futuras. A continuación revisamos los tres retos principales planteados al inicio de la tesis: • Propuesta y desarrollo de una metodología de test para la validación de las medidas de calidad de imágenes fusionadas. Tras una exhaustiva revisión del estado del arte respecto a la medida de la calidad de imágenes en el ámbito de la teledetección, se ha constatado el reducido número de publicaciones al respecto. En este contexto, y dada la importancia de garantizar la fiabilidad y robustez de los índices utilizados para evaluar la calidad de imágenes fusionadas, se estableció como una primera meta de esta investigación la propuesta de una metodología de análisis que aportara criterios objetivos para la utilización de dichos índices, ya que no aparecían referencias al respecto en la literatura científica. Para ello, se idearon, diseñaron y desarrollaron estrategias de medida del rendimiento de estos indicadores a partir de la generación de imágenes distorsionadas. L 134 Capítulo 6 Se aportaron los tres test para modelar las distorsiones espectrales y espaciales inherentes al proceso de fusión de imágenes. Dos relativos a la modificación de la intensidad (Test de Contraste y Test de Brillo) así como el de Transformaciones Geométricas (traslaciones horizontal, vertical, diagonal y rotación), todos ellos descritos en el Capítulo 4. Esta contribución posibilita disponer de un marco cuantitativo de evaluación de índices de calidad. Así, el análisis de los resultados de su aplicación a los indicadores espectrales o espaciales que aparece en el Capítulo 5 ha permitido extraer consideraciones sobre la aplicabilidad de los índices analizados. Este marco cuantitativo se ha completado con el análisis de los resultados de la aplicación de los índices en imágenes fusionadas, obtenidas mediante los algoritmos de fusión descritos en el Capítulo 2. A partir de estas imágenes, se ha completado el diagrama de evaluación general introducido en el Capítulo 4, que incluye un análisis del funcionamiento de los índices de calidad desde el punto de vista de la respuesta del sistema visual humano. De esta manera, se aplicaron los test espectrales y espaciales a la base de datos de imágenes reales y sintética y, gracias a esta metodología, se ha conseguido evaluar la sensibilidad y robustez de 4 índices espectrales y 5 espaciales, logrando obtener criterios objetivos de rendimiento de los índices alcanzado los objetivos propuestos la inicio de la investigación. • Propuesta de algoritmos novedosos de evaluación de la calidad de imágenes fusionadas basados en píxeles. El segundo objetivo que se estableció al inicio de esta investigación, lo constituía el desarrollo de índices de calidad novedosos que solventaran las limitaciones de los existentes. En este contexto se ha contribuido con la descripción de los índices espectrales ERGAS-IHS y CIEDE2000 el índice espacial 𝐹𝐹𝐹𝐹 y el índice global 𝐺𝐺𝐺𝐺𝐺𝐺𝐺𝐺𝐺𝐺 que responden a este desafío. Cada uno de ellos aparece descrito en el Capítulo 3 y han sido sometidos a los procesos de validación cuyos resultados se pueden leer en el Capítulo 5. Los indicadores propuestos en esta tesis junto a los ya descritos en la literatura científica se han sometido al marco de evaluación señalado anteriormente. La aplicación del algoritmo 𝐹𝐹𝐺𝐺𝐶𝐶𝐶𝐶𝐶𝐶2000 ha demostrado su utilidad cuando se requiere alta correlación con respecto a la percepción humana. Más aún, el análisis efectuado a partir de recolección de opiniones, ha permito identificar la baja correspondencia entre los fundamentos de las medidas ampliamente empleadas en calidad de imágenes con respecto a una aproximación como la propuesta. A su vez, los resultados muestran que el nuevo índice ERGAS-IHS proporciona una medida robusta frente a distorsiones de intensidad para evaluar la calidad espectral de las imágenes fusionadas. Además, presenta una mejor sensibilidad frente a cambios de intensidad en un análisis comparado con otras medidas espectrales, así como coherencia en cuanto a los resultados de su aplicación sobre imágenes fusionadas con respecto a su análisis cualitativo. Por otro lado, el índice 𝐹𝐹𝐹𝐹 se muestra como un buen indicador espacial, el más sólido frente a las distorsiones geométricas con relación a los índices espaciales analizados, aunando las ventajas de percepción subjetiva asociadas al análisis de frecuencias espaciales aplicando la 𝐶𝐶𝐹𝐹𝐷𝐷. Además, interpreta robustamente el comportamiento espacial de los algoritmos de fusión cuando se aplica a imágenes pan-sharpened. Conclusiones 135 Por último, el índice 𝐺𝐺𝐺𝐺𝐺𝐺𝐺𝐺𝐺𝐺 abre la posibilidad de una evaluación global de las características espectrales y espaciales de forma sencilla. Tanto su componente espacial MSSIM utilizando información de la PAN como el resultado global se alinean con los resultados esperados proporcionados a través de inspección visual de las imágenes fusionadas. • Diseño y ensayo de una estrategia de medida que permita una evaluación basada en objetos La reflexión sobre el trabajo realizado hasta este momento, si bien satisfacía los objetivos iniciales de la tesis, no acababa con la inquietud científica sobre la hipótesis de la superación del paradigma de medida basado en píxeles como estrategia básica para la evaluación de la calidad de las imágenes fusionadas. Para dar respuesta a esta inquietud se diseñó la propuesta de metodología de medida basada en objetos que se presentó en el Capítulo 3 y cuya validación se recoge, a su vez, en el Capítulo 5. Los resultados muestran que la estrategia de obtención de mapas de calidad a nivel de objetos contribuye a una aproximación a la medida de esta característica más cercana a la interpretación de un observador. Además, los mapas que se han obtenido muestran la solidez de las medidas calculadas con respecto al análisis visual de las imágenes fusionadas. Por último, se ha demostrado que desde esta novedosa formulación se pueden derivar medidas tanto a nivel local de la imagen para identificar en ella aquellas zonas con mayor o menor calidad, como medidas únicas sobre el total de los datos, de forma congruente con las que se calculan a nivel de píxel. 6.2 Líneas futuras de investigación La redacción final de esta memoria de tesis ha permitido observar desde una perspectiva amplia aquello que queda aún por hacer. A continuación se encuentran las posibles líneas futuras de trabajo: 1. Ampliar el número de índices espectrales evaluados con los test de intensidad o los espaciales aplicando los correspondientes test geométricos, es una de ellas. Del mismo modo, emplear el test geométrico con los índices espectrales y viceversa. 2. Sin embargo, hay otras líneas de mayor potencial investigador. En este sentido, se considera de gran interés la evaluación (o propuesta) de diferentes distancias con la intención de analizar cuál se aproxima más al modelo de medida de la calidad subjetiva. 3. La variedad de indicadores de calidad existentes hace pensar que una línea de investigación a explorar es la constituida por su empleo combinado. El objetivo final sería establecer criterios que consideren las aportaciones de cada índice de forma que se sinteticen en un indicador único. Aproximaciones basadas en técnicas estadísticas o de inteligencia artificial sobre la toma de decisiones con respecto a un conjunto de medidas pueden ser una vía a explorar para este propósito. 4. Del mismo modo, el protocolo de evaluación basado en objetos abre líneas de investigación desde distintas perspectivas: 136 Capítulo 6 (i) Aunque se considera validada la propuesta desarrollada, sería interesante contrastar los resultados de su aplicación con respecto a otros esquemas de extracción de objetos. (ii) El método de obtención de objetos admite un análisis riguroso desde el mundo de la segmentación de imágenes. (iii) Las distancias utilizadas para medir la calidad sugieren una investigación en el mismo sentido de lo indicado anteriormente. (iv) El mapa de medida global se puede abordar desde distintos puntos de análisis, entre ellos, la comparación de las propiedades de los objetos y la medida desde múltiples referencias (objetos ideales). 6.3 Publicaciones En este apartado se recogen las publicaciones resultado de esta investigación. • Artículos en revista (en revisión): 1. Rodriguez-Esparragon D, Marcello-Ruiz J, Gonzalo-Martín C, Eugenio-González F. Robustness of Pan-Sharpening Quality Indicators against Spectral Distortions. 2. Rodriguez-Esparragon D, Marcello-Ruiz J, Gonzalo-Martín C, Eugenio-González F Object-based quality evaluation procedure for remote sensing imagery. 3. A. Seal, Bhattacharjee, D., Nasipuri, M., Rodrísguez-Esparragón, D. J., Marcello, Ernestina, E. and Gonzalo-Martin, C. Measuring the quality of the Fused Images using Extended Frequency Comparison Index. 4. A. Seal, Bhattacharjee, D., Nasipuri, M., Rodrísguez-Esparragón, D. J., Marcello, Ernestina, E. and Gonzalo-Martin, C., Multimodal Medical Image Fusion based on `A-trous wavelet transform and rules generated by Random Forest. • Contribuciones a congresos: 1. Rodriguez-Esparragon D, Marcello-Ruiz J, Medina-Machín A, Eugenio-Gonzalez F, Gonzalo-Martin C, Garcia-Pedrero A. Evaluation of the performance of spatial assessments of pansharpened images. Geoscience and Remote Sensing Symposium (IGARSS), 2014 IEEE International; IEEE; Quebec (Canadá). 2014. 2. Rodríguez-Esparragón D, Galve-Hernánez M, Marcello-Ruiz J, Medina Machín A, Eugenio-González F, Gonzalo-Martín C. QIT Fusion, herramienta para el análisis de la calidad de las imágenes fusionadas a partir de datos de teledetección. Libro de Actas del XV Congreso de la Asociación Española de Teledetección; Madrid (España). 2013. 3. Rodríguez-Esparragón D, Marcello-Ruiz J, Medina Machín A, Eugenio-González F. Evaluación de las Métricas de Calidad Espectral de Imágenes Fusionadas frente a variaciones de intensidad en 2013 Libro de Actas del XV Congreso de la Asociación Española de Teledetección; Madrid (España). 2013. 4. Rodríguez-Esparragón D, García-Pedrero, Ángel,Marcello-Ruiz, Javier, Eugenio-González F. Medida de la calidad espectral de imágenes fusionadas usando el algoritmo CIEDE2000. Libro de Actas del XVI Congreso de la Asociación Española de Teledetección; Sevilla (España). 2015. Conclusiones 137 5. Rodriguez-Esparragon D, García-Pedrero Á, Marcello-Ruiz J, Gonzalo-Martín C, Eugenio-González F. Generación basada en objetos de mapas de la medida local de la calidad de imágenes fusionadas de Teledetección. Libro de Actas del XVI Congreso de la Asociación Española de Teledetección; Sevilla (España). 2015. 6. Rodriguez-Esparragon D, Marcello-Ruiz J, Eugenio-Gonzalez F, Garcia-Pedrero A, Gonzalo-Martin C. An object approach to the assessment of the spatial quality of pan-sharpened remote sensing images. Bioinspired Intelligence (IWOBI), 2015 4th International Work Conference on; IEEE; Donostia (Spain). 2015. 7. García-Pedrero ÁM, Gonzalo-Martín C, Lillo-Saavedra M, Rodríguez-Esparragón D. A strategy to improve quality and speed of multi-scale high-resolution image analysis through superpixels. 33rd EARSeL Symposium. Towards Horizon 2020: Earth Observation and Social Perspectives; Matera (Italy). 2013. 8. García-Pedrero Á, Gonzalo-Martín C, Rodríguez-Esparragón D, Lillo-Saavedra M. Delimitación de parcelas agrícolas mediante consenso de diversas segmentaciones. Libro de Actas del XVI Congreso de la Asociación Española de Teledetección; Sevilla (España). 2015. 9. Garcia-Pedrero A, Rodriguez-Esparragon D, Gonzalo-Martin C, Ibarrola E, Lillo-Saavedra M, Marcello J. Automatic identification of shrub vegetation of the Teide National Park. Bioinspired Intelligence (IWOBI), 2015 4th International Work Conference on; IEEE; Donostia (Spain). 2015. 10. Medina A, Marcello J, Eugenio F, Rodríguez D, Martín J. Color and spatial distortions of pansharpening methods in real and synthetic images. SPIE Remote Sensing; International Society for Optics and Photonics; Edinburgh (Great Britain). 2012. 11. Medina A, Marcello J, Rodriguez D, Eugenio F, Martín J. Quality evaluation of pansharpening techniques on different land cover types. Geoscience and Remote Sensing Symposium (IGARSS), 2012 IEEE International; IEEE; Munich (Germany). 2012. A.1.1 ANEXO 1 A modo ilustrativo aparecen en las siguientes figuras los resultados de los mapas de calidad espectral, espacial y global correspondientes a todas las fusiones de una de las imágenes empleadas para este trabajo. En concreto la denominada QB24. Mapa Espacial Mapa Espectral Mapa Global Brovey PCA IHS eIHS Figura A.1. Resultados de los mapas de calidad para las fusiones basadas en operaciones algebraicas o métodos de sustitución.