sapiСистемный анализ и прикладная информатика«System analysis and applied information science»2309-49232414-0481Belarusian National Technical University10.21122/2309-4923-2022-4-30-37sapi-591Research ArticleОбработка информации и принятие решенийData processing and decision–makingИдентификация и классификация объектов на изображениях, полученных с помощью съемочных средств БПЛА и орбитального базированияIdentification and classification of objects in images obtained by UAV and orbital base imaging equipmenttionДудкинА. А.DoudkinA. A.

Prof.

ГанченкоВ. В.GanchenkoV. V.

PhD

ganchenko@lsi.bas-net.byИнютинА. В.InyutinA. V.

Researcher

avin@Isi.bas-net.byМарушкоЕ. Е.MarushkoE. E.

Researcher

marushko@lsi.bas-net.byОбъединенный институт проблем информатики НАН БеларусиБеларусьUnited Institute of Informatics Problems of the National Academy of Sciences of BelarusBelarus202224022023043037Copyright © Дудкин А.А., Ганченко В.В., Инютин А.В., Марушко Е.Е., 20232023Дудкин А.А., Ганченко В.В., Инютин А.В., Марушко Е.Е.Doudkin A.A., Ganchenko V.V., Inyutin A.V., Marushko E.E.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://sapi.bntu.by/jour/article/view/591

Для идентификации и классификации объектов на изображениях, полученных с помощью съемочных средств БПЛА и орбитального базирования, предложена нейросетевая модель классификации, основанная на использовании автоэнкодера и построенная по архитектуре ансамбля многослойных персептронов. При выделении информативных признаков дополнительно добавляется цветовая информация, инвариантная к масштабу и поворотам изображения и основанная на построении поканальных гистограмм. Модель реализована с использованием библиотеки Keras. Использование предложенной модели для классификации на четыре класса: «Пожар», «Задымление», «Растительность» и «Строения», позволяет достичь точности классификации выше 99 %.

To identify and classify objects on images obtained using UAV imaging and orbital-based imaging, a neural network classification model based on the use of an autoencoder and built on the architecture of an ensemble of multilayer perceptrons is proposed. Additionally, at the stage of highlighting informative features, is added a color information, which is based on the per-channel histograms and is invariant to the scale and rotations of the image. The model is implemented using the Keras library. The use of the proposed model for classification into four classes: “Fire”, “Smoke”, “Vegetation” and “Buildings”, allows to achieve a classification accuracy above 99%.  

автоэнкодерансамбль многослойных персептроновклассификацияmetal fracturetexture featuresmacrogeometric descriptorsРабота выполнена при поддержке БРФФИ (договор № Ф21УКРГ-007 от 30.04.2021).ReferencesSentinel Hub EO Browser [Electronic resource]. – Mode of access: https://apps.sentinel-hub.com/eo-browser/?zoom=13&lat=50.20921&lng=30.23931&themeId=DEFAULT-THEME&visualizationUrl=https://services.sentinel-hub.com/ogc/wms/e35192fe-33a1-41f3-b798-b755e771c5a5&datasetId=AWS_LOTL1&fromTime=2015-06-09T00:00:00.000Z&toTime=2015-06-09T23:59:59.999Z&layerId=1_TRUE_COLOR/ – Date of access: 28.05.2022.Sentinel Hub EO Browser [Electronic resource]. – Mode of access: https://apps.sentinel-hub.com/eo-browser/?zoom=13&lat=50.20921&lng=30.23931&themeId=DEFAULT-THEME&visualizationUrl=https://services.sentinel-hub.com/ogc/wms/e35192fe-33a1-41f3-b798-b755e771c5a5&datasetId=AWS_LOTL1&fromTime=2015-06-09T00:00:00.000Z&toTime=2015-06-09T23:59:59.999Z&layerId=1_TRUE_COLOR/ – Date of access: 28.05.2022.Орешкина Л. В. Обнаружение и распознавание класса объектов на многозональных изображениях дистанционного зондирования / Л. В. Орешкина // Информатика. – 2019. – №. 2 (6). – С. 79-85.Oreshkina L.V. Object class detection and recognition in multi-zone remote sensing images / L.V. Oreshkina // Informatics. – 2019. – №. 2 (6). – С. 79-85. [In russian]R. Kuga [et al.] Multi-task learning using multi-modal encoder-decoder networks with Kuga R. Multi-task learning using multi-modal encoder-decoder networks with shared skip connections / R. Kuga [et al.] // Proceedings of the IEEE International Conference on Computer Vision Workshops. – 2017. – С. 403-411.Kuga R. Multi-task learning using multi-modal encoder-decoder networks with shared skip connections / R. Kuga [et al.] // Proceedings of the IEEE International Conference on Computer Vision Workshops. – 2017. – С. 403-411.Chen K. Deep Semantic Segmentation of Aerial Imagery Based on Multi-Modal Data / K. Chen [et al.] // IGARSS 2018-2018 IEEE International Geoscience and Remote Sensing Symposium. – 2018. – С. 6219-6222.Chen K. Deep Semantic Segmentation of Aerial Imagery Based on Multi-Modal Data / K. Chen [et al.] // IGARSS 2018-2018 IEEE International Geoscience and Remote Sensing Symposium. – 2018. – С. 6219-6222.Feng D. [et al.] Deep multi-modal object detection and semantic segmentation for autonomous driving: Datasets, methods, and challenges // IEEE Transactions on Intelligent Transportation Systems. – 2020.Feng D. [et al.] Deep multi-modal object detection and semantic segmentation for autonomous driving: Datasets, methods, and challenges // IEEE Transactions on Intelligent Transportation Systems. – 2020.Kingma, D. P. Adam: A Method for Stochastic Optimization / D. P. Kingma, J. Ba // 3rd Intern. Conf. for Learning Representations, 7–9 May, 2015, San Diego. – San Diego, 2015. – Vol. 1412. – P. 6980.Kingma, D. P. Adam: A Method for Stochastic Optimization / D. P. Kingma, J. Ba // 3rd Intern. Conf. for Learning Representations, 7–9 May, 2015, San Diego. – San Diego, 2015. – Vol. 1412. – P. 6980.Sokolova, M. Beyond accuracy, F-score and ROC: a family of discriminant measures for performance evaluation / M. Sokolova, N. Japkowicz, S. Szpakowicz // Advances in Artificial Intelligence : 19th Australian Joint Conf. on Artificial Intelligence, Hobart, 4–8 Dec., 2006. – Hobart, 2006. – P. 1015–1021.Sokolova, M. Beyond accuracy, F-score and ROC: a family of discriminant measures for performance evaluation / M. Sokolova, N. Japkowicz, S. Szpakowicz // Advances in Artificial Intelligence : 19th Australian Joint Conf. on Artificial Intelligence, Hobart, 4–8 Dec., 2006. – Hobart, 2006. – P. 1015–1021.

The authors declare that there are no conflicts of interest present.