sapiСистемный анализ и прикладная информатика«System analysis and applied information science»2309-49232414-0481Belarusian National Technical University10.21122/2309-4923-2025-1-4-19sapi-725Research ArticleСистемный анализSystem analysisНавигация по снимкам местности на основе сопоставления глубоких признаков и визуальной одометрииTerrain relative navigation based on deep feature template matching and visual odometryРулькоЕ. B.RulkoE. V.

Рулько Евгений Викторович, кандидат технических наук, доцент. Начальник научно-исследовательской лаборатории моделирования военных действий 

Минск

Eugene Rulko, РhD, associate professor in computer science. The head of the research laboratory of military operation simulation

Minsk

eugeni1533@gmail.comВоенная академия Республики БеларусьБеларусьMilitary Academy of the Republic of BelarusBelarus20250404202501419Copyright © Рулько Е.B., 20252025Рулько Е.B.Rulko E.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://sapi.bntu.by/jour/article/view/725

Основной проблемой для систем навигации по снимкам местности является несоответствие визуальных признаков между фрагментом опорной картой и изображением с борта БПЛА. Снимки могут быть сделаны в различное время года, в различную погоду, с различными растительным покровом, условиями освещения и под различными углами обзора относительно плоскости земной поверхности. Данная работа предлагает использование сопоставления глубоких признаков, извлеченных в рамках неконтролируемого обучения с использованием триплет-ошибки. Это обеспечивает понимание семантики изображений, не зависящей от трансформаций местности. В рамах полёта над местностью с недостаточным количеством визуальных признаков для навигации (лес, поле), в работе предложено дополнительное использование визуальной одометрии с процедурой привязывания к опорной карте после получения достаточного количества признаков, с построением гипотез относительно местоположения. Извлечение глубоких признаков натренированной сетью из опорной карты и применение к ним фильтра энтропии позволяет планировать маршруты полёта над местностью, обладающей достаточным разнообразием признаков, необходимых для навигации.

The main hurdle for terrain relative navigation systems is the incongruity of visual features between a patch of a satellite reference map and a view from an onboard UAV camera. Images are taken during different time of year, under different weather, vegetation and lighting conditions, with different angles of observation. This work proposes the usage of deep feature template matching, where features are extracted during unsupervised training using a triplet loss. It provides semantic understanding, agnostic to terrain transformations. In order to overcome struggling to navigate over featureless terrains, the work proposes additional usage of visual odometry with the procedure of sticking to the map after encountering enough features, with the procedure of hypothesizing over possible locations. Passing a fragment of the reference map through the trained feature extractor, applying an entropy filter and then a path-finding algorithm allows planning a flying path over areas rich of features relevant for navigation.

навигация по снимкам местностиглубокие признакимашинное обучениевизуальная одометрияБПЛАterrain relative navigationtemplate matchingtriplet lossdeep learningvisual odometryReferencesИзучение трансформаций изображений для навигации беспилотных летательных аппаратов без GPS [Электронный документ]. – Режим доступа: https://www.youtube.com/watch?v=5JEFe2_L4So (дата обращения 23.10.2024).Image Transformation Learning for Drone Navigation without GPS: [Electronic resource] // HuCE – cpvrLab. URL: https://www.youtube.com/watch?v=5JEFe2_L4So. (Date of access: 23/10/2024).Anthony T. Fragoso и др. Инвариантное к сезонам глубокое преобразование для навигации по местности. // Наука робототехника. – 2021. – № 55.Anthony T. Fragoso et al. A seasonally invariant deep transform for visual terrain-relative navigation. Science robotics. 2021. Vol. 6, № 55.Автономная навигация с улучшенным визуальным распознаванием местности [Электронный документ]. – Режим доступа: https://www.youtube.com/watch?v=U5Kr0YI3sec (дата обращения 23.10.2024).Autonomous Navigation with Improved Visual Terrain Recognition: [Electronic resource] // Caltech. URL: https://www.youtube.com/watch?v=U5Kr0YI3sec. (Date of access: 23/10/2024).Jiaming Sun и др. LoFTR: Сопоставление локальных признаков с трансформерами без детекторов [Электронный документ]. – Режим доступа: https://arxiv.org/abs/2104.00680 (дата обращения 23.10.2024).Jiaming Sun et al. LoFTR: Detector-Free Local Feature Matching with Transformers. 2021. arXiv: 2104.00680.ORB (Ориентированный FAST повернутый BRIEF) [Электронный документ]. – Режим доступа: https://docs.opencv.org/4.x/d1/d89/tutorial_py_orb.html (дата обращения 23.10.2024).ORB (Oriented FAST and Rotated BRIEF): [Electronic resource] // OpenCV. URL: https://docs.opencv.org/4.x/d1/d89/tutorial_py_orb.html. (Date of access: 23/10/2024).ORB в сравнении с визуальной навигацией по местности с использованием машинного обучения [Электронный документ]. – Режим доступа: https://www.youtube.com/@kefrobotics6924 (дата обращения 23.10.2024).ORB vs MLaided Visual TRN: [Electronic resource] // KEF Robotics. URL: https://www.youtube.com/@kefrobotics6924. (Date of access: 12/01/2024).Jiexiong Tang и др. Отбрасывание аномальных значений данных через нейронные сети для самоконтролируемого обучения ключевым точкам [Электронный документ]. – Режим доступа: https://arxiv.org/abs/1912.10615 (дата обращения 23.10.2024).Jiexiong Tang et al. Neural Outlier Rejection for Self-Supervised Keypoint Learning. 2019. arXiv: 1912.10615.Paul-Edouard Sarlin и др. СупуерКлей: Изучение сопоставления признаков через графовые нейронные сети [Электронный документ]. – Режим доступа: https://arxiv.org/abs/1911.11763 (дата обращения 23.10.2024).Paul-Edouard Sarlin et al. SuperGlue: Learning Feature Matching with Graph Neural Networks. 2020. arXiv: 1911.11763.Yifan Wang и др. Эффективный LoFTR: Полуполносвязное сопоставление локальных признаков с разряженной скоростью [Электронный документ]. – Режим доступа: https://arxiv.org/abs/2403.04765 (дата обращения 15.11.2024).Yifan Wang et al. Efficient LoFTR: Semi-Dense Local Feature Matching with Sparse-Like Speed. 2024. arXiv: 2403.04765.Philipp Lindenberger и др. ЛекгийКлей: Локальное сопоставление признаков со скоростью света [Электронный документ]. – Режим доступа: https://arxiv.org/abs/2306.13643 (дата обращения 23.10.2024).Philipp Lindenberger et al. LightGlue: Local Feature Matching at Light Speed. 2023. arXiv: 2306.13643.Rémi Pautrat и др. КлейКарандаш: Устойчивое сопоставление изображений через сочетание точек и линий [Электронный документ]. – Режим доступа: https://arxiv.org/abs/2304.02008 (дата обращения 23.10.2024).Rémi Pautrat et al. GlueStick: Robust Image Matching by Sticking Points and Lines Together. 2023. arXiv: 2304.02008.Jonghee Kim и др. Устойчивое сопоставление по шаблонам с использование адаптированных к масштабу глубоких свёрточных признаков. // APSIPA ежегодная встреча и конференция. – 2017.Jonghee Kim et al. Robust template matching using scale-adaptive deep convolutional features. APSIPA Annual Summit and Conference. 2017.Jiaxin Cheng и др. QATM: Сопоставление по шаблонам для глубокого обучения с пониманием качества [Электронный документ]. – Режим доступа: https://arxiv.org/abs/1903.07254 (дата обращения 23.10.2024).Jiaxin Cheng et al. QATM: Quality-Aware Template Matching For Deep Learning. 2019. arXiv: 1903.07254.ImageNet [Электронный документ]. – Режим доступа: URL: https://www.image-net.org (дата обращения 23.10.2024).ImageNet: [Electronic resource] // URL: https://www.image-net.org. (Date of access: 23/10/2024).Schroff и др. FaceNet: унифицированное представление для распознавания лиц и кластеризации [Электронный документ]. – Режим доступа: https://arxiv.org/abs/1503.03832 (дата обращения 23.10.2024).Schroff et al. FaceNet: A unified embedding for face recognition and clustering. 2015. arXiv: 1503.03832.Weights & Biases [Электронный документ]. – Режим доступа: URL: https://wandb.ai/site. (дата обращения 23.10.2024).Weights & Biases: [Electronic resource] // URL: https://wandb.ai/site. (Date of access: 23/10/2024).Scikit-image. Примеры. Фильтрация и восстановление. Энтропия [Электронный документ]. – Режим доступа: URL: https://scikit-image.org/docs/stable/auto_examples/filters/plot_entropy.html. (дата обращения 23.10.2024).Examples. Filtering and restoration. Entropy: [Electronic resource] // Scikit-image. https://scikit-image.org/docs/ stable/auto_examples/filters/plot_entropy.html. (Date of access: 23/10/2024).A* алгоритм поиска [Электронный документ]. – Режим доступа: URL: https://www.geeksforgeeks.org/a-search- algorithm. (дата обращения 23.10.2024).A* Search Algorithm: [Electronic resource] // https://www.geeksforgeeks.org/a-search-algorithm. (Date of access: 23/10/2024).Размеченные спутниковые снимки высокого разрешения для оценки разрушений зданий [Электронный документ]. – Режим доступа: URL: https://xview2.org/dataset. (дата обращения 23.10.2024).Annotated high-resolution satellite imagery for building damage assessment: [Electronic resource] // xBD Dataset. URL: https://xview2.org/dataset. (Date of access: 23/10/2024).Mathilde Caron и др. Неконтролируемое обучение визуальным признакам через контрастные кластерные назначения [Электронный документ]. – Режим доступа: https://arxiv.org/abs/2006.09882 (дата обращения 23.10.2024).Mathilde Caron et al. Unsupervised Learning of Visual Features by Contrasting Cluster Assignments. 2021. arXiv: 2006.09882.Lihe Yang и др. Глубина чего угодно версия 2 [Электронный документ]. – Режим доступа: https://arxiv.org/abs/2406.09414 (дата обращения 23.10.2024).Lihe Yang et al. Depth Anything V2. 2024. arXiv: 2406.09414.Dioram визуальная навигация (базирующаяся на Dioram SLAM One) определение местоположения через облако точке в масштабах города [Электронный документ]. – Режим доступа: URL: https://www.youtube.com/watch?v=DwAT46MdyXk. (дата обращения 23.10.2024).Dioram Visual Navigation(based on Dioram SLAM One) point-cloud mapping in a city scale: [Electronic resource] // Dioram: Computer Vision, Machine Learning, SLAM. URL: https://www.youtube.com/watch?v=DwAT46MdyXk. (Date of access: 23/10/2024).Превосходный детектор линий [Электронный документ]. – Режим доступа: URL: https://github.com/amusi/awesome-lane-detection?tab=readme-ov-file#2023. (дата обращения 23.10.2024).Awesome-lane-detection: [Electronic resource] // Github.com. URL: https://github.com/amusi/awesome-lanedetection?tab=readme-ov-file#2023. (Date of access: 23/10/2024).J. Oliver. Разработка элементов схемы нечеткого хеширования. / J. Oliver, J. Hagen // 19-я международная конференция по встроенной и общераспространенной компьютерной технике: материалы конференции / IEEE. – Шеньянг, Китай, 2021. – С. 1–6.J. Oliver, J. Hagen. Designing the Elements of a Fuzzy Hashing Scheme. Science robotics. 2021 IEEE 19th International Conference on Embedded and Ubiquitous Computing (EUC), Shenyang, China, 2021, pp. 1-6.Основанные на реальной модели мира 3D геопространственные возможности для Unity [Электронный документ]. – Режим доступа: URL: https://cesium.com/platform/cesium-for-unity. (дата обращения 23.10.2024).Real-World 3D Geospatial Capability for Unity: [Electronic resource] // Cesium.com. URL: https://cesium.com/platform/cesium-for-unity. (Date of access: 23/10/2024).

The authors declare that there are no conflicts of interest present.