sapiСистемный анализ и прикладная информатика«System analysis and applied information science»2309-49232414-0481Belarusian National Technical University10.21122/2309-4923-2017-1-24-32sapi-146Research ArticleСистемный анализSystem analysisСРАВНИТЕЛЬНЫЙ АНАЛИЗ БЕЗЭТАЛОННЫХ МЕР ОЦЕНКИ КАЧЕСТВА ЦИФРОВЫХ ИЗОБРАЖЕНИЙCOMPARATIVE ANALYSIS OF NO-REFERENCE QUALITY MEASURES FOR DIGITAL IMAGESСтаровойтовВ. В.StarovoitovV. V.

Старовойтов Валерий Васильевич - доктор технических наук, профессор, главный научный сотрудник ОИПИ НАН Беларуси. Лауреат премии Ленинского комсомола БССР и Государственной премии Республики Беларусь. 

Starovoitov Valery - Doctor of Sciences and professor of computer science, principal research fellow at UIIP NAS Belarus. Awards: the Belarus Lenin Komsomol Prize and the State Prize of the Republic of Belarus in science.

СтаровойтовФ. В.StarovoitovF. V.Объединенный институт проблем информатики НАН БеларусиБеларусьUnited Institute of Informatics Problems of the NAS of BelarusBelarusБелорусский государственный университетБеларусьBelarusian State UniversityBelarus201704052017012432Copyright © Старовойтов В.В., Старовойтов Ф.В., 20172017Старовойтов В.В., Старовойтов Ф.В.Starovoitov V.V., Starovoitov F.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://sapi.bntu.by/jour/article/view/146

В статье описываются результаты сравнительного анализа 34 функций, опубликованных в научной литературе и использующихся для оценки качества изображений при отсутствии эталона. В англоязычной литературе они называются no-reference (NR) measure или мерами NR-типа. Первая статья, использующая термин no-reference, была опубликована в 2000 году и ежегодно растет число публикаций о новых мерах NR-типа. Тем не менее, сравнительных исследований таких мер практически не проводилось. Наличие NR-мер очень актуально для, а) оценки качества сделанных фотографий, б) оценки результатов преобразований, ориентированных на улучшение изображений, и выбор параметров этих преобразований (яркостные изменения, сжатие динамического диапазона яркости, преобразование цветного в полутон и другие). Базы тестовых изображений, используемые для исследования без эталонных мер качества (TID2013 и другие), содержат по 4, 5 вариантов изображений определенного типа искажений параметры которых не описаны. Поэтому разработано шесть типов экспериментов с целью анализа корреляции вычисляемых количественных оценок с визуальными оценками качества тестируемых изображений. Четыре из них являются принципиально новыми: сравнение изображений после гамма-коррекции и изменения контраста с разными параметрами, а также сравнение отретушированных изображений и фотографий, сделанных с разным фокусным расстоянием. Экспериментально показано, что ни одна из исследуемых мер оценки качества изображения не является универсальной, а вычисленная оценка не может быть преобразована в качественную шкалу без учета факторов, влияющих на искажение качества изображения. Большинство исследованных мер вычисляет локальные оценки в малых окрестностях, а их среднее арифметическое является оценкой качества всего изображения. Если на изображении доминируют большие области однородной яркости, меры такого типа могут дать неверные оценки качества, не совпадающие с визуальными оценками.

This paper presents results of a comparative analysis of 34 measures published in the scientific literature and used for evaluation of the image quality without a reference image. In English literature, they are called no-reference (NR) measure or measures NR-type. The first article, the term no-reference, was published in 2000 and each year a growing number of publications on new measures NR-type. However, comparative studies of such measures is not practically conducted. Such measures are very important for a) just made photo quality evaluation, b) assessment of image enhancement transformations and selection of their parameters (such as contrast and brightness adjustments, tone-mapping, decolorization and others). Publicly available image quality databases used for study no-reference quality measures (TID2013, etc.), contain 4-5 variants of images distorted by predefined transformations with unknown parameters. We presented six types of experiments to analyze correlation of the computed numerical quality values with visual estimates of the test images quality. Four of the experiments are new: comparison of images after gamma-correction and contrast enhancement with different parameters, as well as analysis of the retouched images and photos taken with different focal length. It was shown experimentally that no one of the known no-reference quality assessment measure is universal, and the calculated value cannot be converted to a quality scale, excluding factors influencing the distortion of the image. Most of the studied measures calculates local estimates in small neighborhoods, and their arithmetic mean is the quality index of the image. If the image contains large areas of uniform brightness, the measures of this type can give incorrect quality assessment, which will not correlate with the visual assessments.

оценка качества изображенияNR-мерагамма-коррекцияконтрастотретушированное изображениефокусное расстояниеimage quality assessmentno-reference measuregamma-correctioncontrastretouched imagefocal lengthReferencesСтаровойтов, В. В. Локальные геометрические методы цифровой обработки и анализа изображений. – Минск: Ин-т техн. кибернетики НАН Беларуси, 1997. Starovoitov, V. V. Lokal’nye geometricheskie metody cifrovoj obrabotki i analiza izobrazhenij. – Minsk: In-t tehn. kibernetiki NAN Belarusi, 1997.Старовойтов, В. В. Локальные геометрические методы цифровой обработки и анализа изображений. – Минск: Ин-т техн. кибернетики НАН Беларуси, 1997. Starovoitov, V. V. Lokal’nye geometricheskie metody cifrovoj obrabotki i analiza izobrazhenij. – Minsk: In-t tehn. kibernetiki NAN Belarusi, 1997.Caviedes, J. et al. Impairment metrics for digital video and their role in objective quality assessment // Visual Communications and Image Processing, Perth, Australia, 30 May 2000. – P. 791–800.Caviedes, J. et al. Impairment metrics for digital video and their role in objective quality assessment // Visual Communications and Image Processing, Perth, Australia, 30 May 2000. – P. 791–800.Lin, W., Kuo, C. C. J. Perceptual visual quality metrics: A survey //Journal of Visual Communication and Image Representation, 2011. – Vol. 22. – №. 4. – P. 297–312.Lin, W., Kuo, C. C. J. Perceptual visual quality metrics: A survey //Journal of Visual Communication and Image Representation, 2011. – Vol. 22. – №. 4. – P. 297–312.Mittal, A., Moorthy, A. K., Bovik, A. C. No-reference image quality assessment in the spatial domain // IEEE Transactions on Image Processing. – 2012. – Vol. 21. – №. 12. – P. 4695–4708.Mittal, A., Moorthy, A. K., Bovik, A. C. No-reference image quality assessment in the spatial domain // IEEE Transactions on Image Processing. – 2012. – Vol. 21. – №. 12. – P. 4695–4708.Chandler, D. M. Seven challenges in image quality assessment: past, present, and future research // ISRN Signal Processing. – 2013. – Vol. 2013, 53 p.Chandler, D. M. Seven challenges in image quality assessment: past, present, and future research // ISRN Signal Processing. – 2013. – Vol. 2013, 53 p.Manap, R. A. Shao L. Non-distortion-specific no-reference image quality assessment: A survey // Information Sciences, 2015. – Vol. 301. – P. 141–160.Manap, R. A. Shao L. Non-distortion-specific no-reference image quality assessment: A survey // Information Sciences, 2015. – Vol. 301. – P. 141–160.Pertuz, S., Puig, D., Garcia, M. A. Analysis of focus measure operators for shape-from-focus // Pattern Recognition, 2013. – Vol. 46. – № 5. – P. 1415–1432.Pertuz, S., Puig, D., Garcia, M. A. Analysis of focus measure operators for shape-from-focus // Pattern Recognition, 2013. – Vol. 46. – № 5. – P. 1415–1432.Crete, F. et al. The blur effect: perception and estimation with a new no-reference perceptual blur metric // Proc. on Human Vision and Electronic Imaging XII, San Jose, CA, USA, January 28, 2007, Vol. 6492. – P. 64920I-1-64920I-11.Crete, F. et al. The blur effect: perception and estimation with a new no-reference perceptual blur metric // Proc. on Human Vision and Electronic Imaging XII, San Jose, CA, USA, January 28, 2007, Vol. 6492. – P. 64920I-1-64920I-11.Zhu, X., Milanfar, P. Automatic parameter selection for denoising algorithms using a no-reference measure of image content // IEEE transactions on image processing, 2010. – Т. 19. – № 12. – С. 3116–3132.Zhu, X., Milanfar, P. Automatic parameter selection for denoising algorithms using a no-reference measure of image content // IEEE transactions on image processing, 2010. – Т. 19. – № 12. – С. 3116–3132.Vu, C. T., Phan, T. D., Chandler, D. M. A spectral and spatial measure of local perceived sharpness in natural images // IEEE transactions on image processing, 2012.– Vol. 21.– №3.– P. 934–945.Vu, C. T., Phan, T. D., Chandler, D. M. A spectral and spatial measure of local perceived sharpness in natural images // IEEE transactions on image processing, 2012.– Vol. 21.– №3.– P. 934–945.Gabarda, S., Cristуbal, B. Blind Image quality assessment through anisotropy // Journal of the Optical Society of America, 2007. – Vol. 24. – № 12. – P. 42–51.Gabarda, S., Cristуbal, B. Blind Image quality assessment through anisotropy // Journal of the Optical Society of America, 2007. – Vol. 24. – № 12. – P. 42–51.Zhang, C. J. et al. Approach to enhance contrast of infrared image based on wavelet transform // Hongwai yu Haomibo Xuebao / Journal of Infrared and Millimeter Waves (China). – 2004. – Vol. 23. – №. 2. – P. 119–124.Zhang, C. J. et al. Approach to enhance contrast of infrared image based on wavelet transform // Hongwai yu Haomibo Xuebao / Journal of Infrared and Millimeter Waves (China). – 2004. – Vol. 23. – №. 2. – P. 119–124.Wang, Z. et al. Image quality assessment: from error visibility to structural similarity // IEEE transactions on image processing, 2004. – Vol. 13. – № 4. – P. 600–612.Wang, Z. et al. Image quality assessment: from error visibility to structural similarity // IEEE transactions on image processing, 2004. – Vol. 13. – № 4. – P. 600–612.База стандартных тестовых изображений: Signal and Image Processing Institute, University of Southern California, CA. – Режим доступа: http://sipi.usc.edu/database/database.php?volume=misc,44images.tiff. – Дата доступа: 10.02.2017.База стандартных тестовых изображений: Signal and Image Processing Institute, University of Southern California, CA. – Режим доступа: http://sipi.usc.edu/database/database.php?volume=misc,44images.tiff. – Дата доступа: 10.02.2017.Интернет-редактор изображений «Ретушь лица». – Режим доступа: http://makeup.pho.to/ru/. – Дата доступа: 10.02.2017.Интернет-редактор изображений «Ретушь лица». – Режим доступа: http://makeup.pho.to/ru/. – Дата доступа: 10.02.2017.

The authors declare that there are no conflicts of interest present.