sapiСистемный анализ и прикладная информатика«System analysis and applied information science»2309-49232414-0481Belarusian National Technical University10.21122/2309-4923-2022-2-10-19sapi-555Research ArticleСистемный анализSystem analysisОценка результатов повышения разрешения мультиспектральных спутниковых изображений методом слиянияEvaluation of the results of pansharpening multispectral imagesГолубЮ. И.GolubY. I.

Голуб Юлия Игоревна – кандидат технических наук, доцент, старший научный сотрудник

6423506@gmail.comОбъединенный институт проблем информатики Национальной академии наук БеларусиБеларусьUnited Institute of Informatics Problems, National Academy of Sciences of BelarusBelarus202216062022021019Copyright © Голуб Ю.И., 20222022Голуб Ю.И.Golub Y.I.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://sapi.bntu.by/jour/article/view/555

При обработке цифровых изображений, полученных при дистанционном зондировании Земли, используются различные способы повышения их разрешения. Однако при этом на изображениях могут появиться искажения разного характера. Например, яркостные искажения (цвета, контраста, резкости) и геометрические (границ объектов). Перед разработчиками автоматизированных систем обработки изображений возникает задача из десятков методов выбрать тот, который вносит наименьшие визуально заметные искажения, т.е. создает изображения наилучшего качества.

В данной статье решалась следующая задача: определить функции оценки качества изображений, формируемых в результате слияния мультиспектральных снимков с панхроматическим изображением, зарегистрированных одним спутником. Подобные преобразования называют – паншарпенинг. Полученный результат слияния невозможно сравнить с эталоном, поскольку его не существует. Для оценки качества таких изображений предлагается использовать так называемые безэталонные оценочные меры.

 В статье кратко описаны методы синтеза нового цветного изображения высокого разрешения из четырех снимков дистанционного зондировании Земли. Обсуждаются особенности количественной оценки качества получаемых изображений. Приведены результаты преобразования космических изображений различными методами увеличения разрешения. Построены графики количественных оценок качества изображений. Для оценки результатов панхроматического слияния рекомендуется использовать следующие безэталонные оценки качества: FISH, LOCC, LOEN, NATU, SHAR и WAVS. При повышении разрешения мультиспектральных спутниковых изображений методом слияния с панхроматическим изображением лучшие результаты (четкие границы и естественные цвета) показал метод, в основе которого используется линейная комбинация спектральных каналов.

 

When processing digital images obtained by remote sensing of the Earth, various methods are used to increase their resolution. However, in this case, some distortions of a different nature may appear on the images. For example, luminance distortion (color, contrast, sharpness) and geometric (object boundary deformations). Developers of automated image processing systems face the task of choosing from dozens of methods the one that introduces the least visually noticeable distortions, i.e. creates images of the best quality.

In this article, the following problem was solved: to determine the functions for assessing the quality of images formed as a result of multispectral satellite image pansharpening. The pansharped image cannot be compared with the template one, since it does not exist. To assess quality of such images, we proposed to use the so-called no-reference evaluation measures.

The article briefly describes methods for synthesizing a new high-resolution color image from four images of Earth remote sensing. Functions for calculating quantitative estimates of the quality of the resulting images are discussed. Results of some space image pansharpening by different methods are presented. Graphs of these assessments of image quality are constructed. To evaluate panchromatic fusion results, the following non-reference quality scores are recommended: FISH, LOCC, LOEN, NATU, SHAR, and WAVS. The clearest boundaries and natural colors of objects were demonstrated by the P+XS pansharpening algorithm based on a linear combination of spectral channels.

мультиспектральное изображениепанхроматическое изображениеувеличение разрешения методом слиянияколичественная оценка качества изображенияmultispectral imagepanchromatic imageresolution increasepansharpeningquantitative image quality assessmentReferencesПопулярная механика [Электронный ресурс]. – Режим доступа: https://www.popmech.ru/editorial/750813-skolko-sputnikov-vrashchaetsya-vokrug-zemli/. – Дата доступа : 15.04.2022.Populjarnaja mehanika [Online]. – Available : https://www.popmech.ru/editorial/750813-skolko-sputnikov-vrashchaetsya-vokrug-zemli/. – Date of access : 15.04.2022.United Nations Office for Outer Space Affairs (UNOOSA) [Электронный ресурс]. – Режим доступа: https://www.unoosa.org/oosa/osoindex/search-ng.jspx?lf_id=. – Дата доступа : 15.04.2022.United Nations Office for Outer Space Affairs (UNOOSA) [Online]. – Available : https://www.unoosa.org/oosa/osoindex/search-ng.jspx?lf_id=. – Date of access : 15.04.2022.Amro, I. A survey of classical methods and new trends in pansharpening of multispectral images / I. Amro [et al.] // EURASIP Journal on Advances in Signal Processing. – 2011. – Т. 2011, № 1. – С. 1–22.Amro, I. A survey of classical methods and new trends in pansharpening of multispectral images / I. Amro [et al.] // EURASIP Journal on Advances in Signal Processing. – 2011. – Vol. 2011, № 1. – P. 1–22.Zhou, J. A wavelet transform method to merge Landsat TM and SPOT panchromatic data / J. Zhou, D.L. Civco, J.A. Silander // International journal of remote sensing. – 1998. – Т. 19, № 4. – С. 743–757.Zhou, J. A wavelet transform method to merge Landsat TM and SPOT panchromatic data / J. Zhou, D.L. Civco, J.A. Silander // International journal of remote sensing. – 1998. – Vol.19, № 4. – P. 743–757.Alparone, L. Multispectral and panchromatic data fusion assessment without reference / L. Alparone [et al.] // Photogrammetric Engineering & Remote Sensing. – 2008. – Т. 74, № 2. – С. 193–200.Alparone, L. Multispectral and panchromatic data fusion assessment without reference / L. Alparone [et al.] // Photogrammetric Engineering & Remote Sensing. – 2008. – Vol.74, № 2. – P. 193–200.Burger, W. Principles of digital image processing: core algorithms / W. Burger, M.J. Burge // Springer Science & Business Media. – 2010.Burger, W. Principles of digital image processing: core algorithms / W. Burger, M.J. Burge // Springer Science & Business Media. – 2010.Gillespie, A.R. Color enhancement of highly correlated images-II. Channel ratio and “Chromaticity” Transform techniques / A.R. Gillespie, A.B. Kahle, R.E. Walker // Remote Sensing of Environment. – 1987. – Т. 22, № 3. – С. 343–365.Gillespie, A.R. Color enhancement of highly correlated images-II. Channel ratio and “Chromaticity” Transform techniques / A.R. Gillespie, A.B. Kahle, R.E. Walker // Remote Sensing of Environment. – 1987. – Vol. 22, № 3. – P. 343–365.Zhang, Y. Problems in the fusion of commercial high resolution satellite images as well as Landsat 7 images and initial solutions / Y. Zhang // International Archives of Photogrammetry and Remote Sensing. – 2002. – Vol. 34. – Part 4.Zhang, Y. Problems in the fusion of commercial high resolution satellite images as well as Landsat 7 images and initial solutions / Y. Zhang // International Archives of Photogrammetry and Remote Sensing. – 2002. – Vol. 34. – Part 4.Aiazzi, B. Quality assessment of pansharpening methods and products / B. Aiazzi [et al.] // IEEE Geoscience and Remote Sensing Society Newsletter. – 2011. – Т. 1, № 161. – С. 10–18.Aiazzi, B. Quality assessment of pansharpening methods and products / B. Aiazzi [et al.] // IEEE Geoscience and Remote Sensing Society Newsletter. – 2011. – Vol. 1, № 161. – P. 10–18.Коберниченко, В.Г. Методы синтеза изображений на основе данных дистанционного зондирования Земли различного разрешения / В.Г. Коберниченко, В.А. Тренихин // Успехи современной радиоэлектроники. – 2007. – № 4. – С. 22–31.Kobernichenko, V.G. Methods for fusing images based on different resolution remote sensed data / V.G. Kobernichenko, V.A. Trenikhin // Journal Achievements of Modern Radioelectronics. – 2007. – №4. – P. 22–31.Геологическая служба США [Электронный ресурс]. – Режим доступа: https://earthexplorer.usgs.gov/. – Дата доступа : 15.04.2022.U.S. Geological Survey [Online]. – Available : https://earthexplorer.usgs.gov/. – Date of access : 15.04.2022.Schowengerdt, R.A. Remote sensing: models and methods for image processing. – Elsevier. – 2006.Schowengerdt, R.A. Remote sensing: models and methods for image processing. – Elsevier. – 2006.Vivone, G. A critical comparison among pansharpening algorithms / G. Vivone [et al.] // IEEE Transactions on Geoscience and Remote Sensing. – 2014. – Т. 53, № 5. – С. 2565–2586.Vivone, G. A critical comparison among pansharpening algorithms / G. Vivone [et al.] // IEEE Transactions on Geoscience and Remote Sensing. – 2014. – Vol. 53, № 5. – P. 2565–2586.Carper, W. The use of Intensity-Hue-Saturation transformations for merging SPOT panchromatic and multispectral image data / W. Carper, T. Lillesand, R. Kiefer // Photogrammetric Engineering and Remote Sensing. – 1990. – Т. 56, № 4. – С. 459–467.Carper, W. The use of Intensity-Hue-Saturation transformations for merging SPOT panchromatic and multispectral image data / W. Carper, T. Lillesand, R. Kiefer // Photogrammetric Engineering and Remote Sensing. – 1990. – Vol. 56, № 4. – P. 459–467.Kang, X. Pansharpening with matting model / X. Kang, S. Li, J.A. Benediktsson // IEEE transactions on geoscience and remote sensing. – 2013. – Т. 52, № 8. – С. 5088–5099.Kang, X. Pansharpening with matting model / X. Kang, S. Li, J.A. Benediktsson // IEEE transactions on geoscience and remote sensing. – 2013. – Vol. 52, № 8. – P. 5088–5099.Wald, L. Fusion of satellite images of different spatial resolutions: Assessing the quality of resulting images / L. Wald, T. Ranchin, M. Mangolini // Photogrammetric Engineering and Remote Sensing. – 1997. – Т. 63, № 6. – С. 691–699.Wald, L. Fusion of satellite images of different spatial resolutions: Assessing the quality of resulting images / L. Wald, T. Ranchin, M. Mangolini // Photogrammetric Engineering and Remote Sensing. – 1997. – Vol. 63, № 6. – P. 691–699.Ranchin, T. Image fusion - the ARSIS concept and some successful implementation schemes / T. Ranchin [et al.] // ISPRS Journal of Photogrammetry & Remote Sensing. – 2003. – Т. 58. – С. 4–18.Ranchin, T. Image fusion - the ARSIS concept and some successful implementation schemes / T. Ranchin [et al.] // ISPRS Journal of Photogrammetry & Remote Sensing. – 2003. – Vol. 58. – P. 4–18.Khan, M.M. Pansharpening quality assessment using the modulation transfer functions of instruments / M.M. Khan, L. Alparone, J. Chanussot // IEEE transactions on geoscience and remote sensing. – 2009. – Т. 47, № 11. – С. 3880–3891.Khan, M.M. Pansharpening quality assessment using the modulation transfer functions of instruments / M.M. Khan, L. Alparone, J. Chanussot // IEEE transactions on geoscience and remote sensing. – 2009. – Vol. 47, № 11. – P. 3880–3891.Yeganeh, H. Objective quality assessment of tone-mapped images / H. Yeganeh, Z. Wang // IEEE Transactions on Image processing. – 2013. – Т. 22, № 2. – С. 657–667.Yeganeh, H. Objective quality assessment of tone-mapped images / H. Yeganeh, Z. Wang // IEEE Transactions on Image processing. – 2013. – Vol. 22, № 2. – P. 657–667.Chen, X. No-reference color image quality assessment: From entropy to perceptual quality / X. Chen [et al.] // EURASIP Journal on Image and Video Processing. – 2019. – Т. 2019, № 1. – С. 1–14.Chen, X. No-reference color image quality assessment: From entropy to perceptual quality / X. Chen [et al.] // EURASIP Journal on Image and Video Processing. – 2019. – Vol. 2019, № 1. – P. 1–14.Hasler, D. Measuring colorfulness in natural images / D. Hasler, S.E. Suesstrunk // Human vision and electronic imaging VIII. – International Society for Optics and Photonics. – 2003. – Т. 5007. – С. 87–95.Hasler, D. Measuring colorfulness in natural images / D. Hasler, S.E. Suesstrunk // Human vision and electronic imaging VIII. – International Society for Optics and Photonics. – 2003. – Vol. 5007. – P. 87–95.Голуб, Ю.И. Сравнительный анализ безэталонных оценок резкости цифровых изображений / Ю.И. Голуб, Ф.В. Старовойтов, В.В. Старовойтов // Доклады Белорусского государственного университета информатики и радиоэлектроники. – 2019. – №7(125). – С. 113–120.Golub, Y.I. Comparative analysis of no-reference measures for digital image sharpness assessment / Y.I. Golub, F.V. Starovoitov // Doklady BGUIR. – 2019. – №7 (125). – P. 113–120.Голуб, Ю.И. Оценка качества цифровых изображений / Ю.И. Голуб // Системный анализ и прикладная информатика. – 2021. – №4. – С. 4–15. https://doi.org/10.21122/2309-4923-2021-4-4-15Golub, Y.I. Image quality assessment / Y.I. Golub // System analysis and applied information science. – 2021. – № 4. – P. 4–15.Ouni S., Zagrouba E., Chambah M. A new no-reference method for color image quality assessment / S. Ouni, E. Zagrouba, M. Chambah // International Journal of Computer Applications. – 2012. – Т. 40, № 17. – С. 24–31.Ouni S., Zagrouba E., Chambah M. A new no-reference method for color image quality assessment / S. Ouni, E. Zagrouba, M. Chambah // International Journal of Computer Applications. – 2012. – Vol. 40, № 17. – P. 24–31.

The authors declare that there are no conflicts of interest present.