sapiСистемный анализ и прикладная информатика«System analysis and applied information science»2309-49232414-0481Belarusian National Technical University10.21122/2309-4923-2023-1-4-9sapi-601Research ArticleУправление техническими объектамиManagement of technical objectsОгибание препятствий при перемещении мобильного роботаBending obstacles when moving a mobile robotСидоренкоА. В.SidorenkoA. V.

Сидоренко Алевтина Васильевна - профессор факультета радиофизики и компьютерных технологий , доктор технических наук

Минск

sidorenkoa@yandex.byСолодухоН. А.SaladukhaN. A.

Солодухо Никита Александрович - старший преподаватель факультета радиофизики и компьютерных технологий, магистр физико-математических наук

Минск

Белорусский государственный университетБеларусьBelarusian State UniversityBelarus2023310720230149Copyright © Сидоренко А.В., Солодухо Н.А., 20232023Сидоренко А.В., Солодухо Н.А.Sidorenko A.V., Saladukha N.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://sapi.bntu.by/jour/article/view/601

Рассмотрены вопросы моделирования при навигации с огибанием препятствий мобильного робота с использованием методов машинного обучения: Q-обучения, алгоритма SARSA, глубокого Q-обучения и двойного глубокого Q-обучения. Разработанное программное обеспечение включает средства Mobile Robotics Simulation Toolbox, Reinforcement Learning Toolbox и пакет визуализации Gazebo для моделирования среды. Результаты вычислительного эксперимента показывают, что для моделируемой среды размером 17 на 17 клеток и препятствия длиной в 12 клеток обучение при использовании алгоритма SARSA происходит с лучшей производительностью, чем для остальных.

Предложен алгоритм огибания препятствий с исключением методов машинного обучения, и показано, что скорость огибания препятствий роботом с использования данного алгоритма выше, чем скорость обучения при применении глубокого Q-обучения и двойного глубокого Q-обучения, но ниже, чем с использованием алгоритмов SARSA и Q-обучения. Для предложенного алгоритма проведен вычислительный эксперимент с использованием среды моделирования движения робота. В пакете визуализации Gazebo 11 показано, что препятствия кубической формы огибаются быстрее, чем цилиндрической.

The issues of modeling when navigating around obstacles of a mobile robot using machine learning methods are considered: Q-learning, SARSA algorithm, deep Q-learning and double deep Q-learning. The developed software includes the Mobile Robotics Simulation Toolbox, Reinforcement Learning Toolbox, and the Gazebo visualization package for environment simulation. The results of the computational experiment show that for a simulated environment with a size of 17 by 17 cells and an obstacle 12 cells long, training using the SARSA algorithm occurs with better performance than for the others.

An algorithm for avoiding obstacles without the use of machine learning is proposed, and it was shown that the speed of avoiding obstacles using this algorithm is higher than the learning speed using deep Q-learning and double deep Q-learning, but lower than using the SARSA and Q-learning algorithms. . For the proposed algorithm, a numerical experiment was carried out using the robot movement simulation environment in Gazebo 11 and it was shown that cubic obstacles are being avoided faster than cylindrical ones.

роботмашинное обучениеQ-обучениеперемещениепрепятствияrobotmachine learningQ-learningmovementobstaclesReferencesНазарова, А.В. Методы и алгоритмы мультиагентного управления робототехнической системой / А.В. Назарова, Т.П. Рыжова // Вестник МГТУ им. Н. Э. Баумана. Сер. Приборостроение. ‒ 2012. Спец. вып. 6 : Робототехнические системы. ‒ С. 93-105.Nazarova, A.V. Methods and algorithms for multi-agent control of robotic system / A.V. Nazarova, T.P. Ryzhova // Vestnik MGTU im. N.E. Baumana. Ser. Priborostroenie. ‒ 2012. ‒ Spec. iss. 6 : Robototekhnicheskie sistemy. ‒ P. 93-105.Fu Yiuwi. Neural Network-Based Learning from Demonstration of an Autonomous Ground Robot / Yiuwi Fu [et al.] // Machines. ‒ 2019. ‒ Vol. 7, № 2. ‒ P. 1-14.Fu Yiuwi. Neural Network-Based Learning from Demonstration of an Autonomous Ground Robot / Yiuwi Fu [et al.] // Machines. ‒ 2019. ‒ Vol. 7, № 2. ‒ P. 1-14.Altuntas N. Reinforcement learning based mobile robot navigation / N. Altuntas [et al.] // Turkish Journal of electrical engineering & Computer sciences. ‒ 2016. ‒ Vol. 24, № 3. ‒ P. 1747-1767.Altuntas N. Reinforcement learning based mobile robot navigation / N. Altuntas [et al.] // Turkish Journal of electrical engineering & Computer sciences. ‒ 2016. ‒ Vol. 24, № 3. ‒ P. 1747-1767.Сидоренко, А.В. Машинное обучение при перемещении мобильного робота / А.В. Сидоренко, Н.А. Солодухо // Компьютерные технологии и анализ данных (CTDA’2022): материалы III Междунар. науч.-практ. конф., Минск, 21–22 апр. 2022 г. / Белорус. гос. ун-т ; редкол.: В. В. Скакун (отв. ред.) [и др.]. – Минск : РИВШ, 2022. – С. 68-72.Sidorenko, A.V. Machine learning in mobile robot movement / A.V. Sidorenko, M.A. Saladukha // Computer technology and data analysis (CTDA’2022) : materials of III Intern. sci.-pract. conf., Minsk, 21–22 apr. 2022 y. / Belarusian state university; ed.: V.V. Skakun (main ed.) [et al.]. – Minsk : RIVSH, 2022. – P. 68-72.Описание пакета Reinforcement Learning Toolbox [Электронный ресурс]. – Режим доступа: https://www.mathworks.com/help/reinforcement-learning/index.html?s_tid=CRUX_lftnav – Дата доступа: 11.03.2023.Description of Reinforcement Learning Toolbox [Electronic resourse]. – Access: https://www.mathworks.com/help/reinforcement-learning/index.html?s_tid=CRUX_lftnav – Access date: 11.03.2023.Описание пакета Mobile Robotics Simulation Toolbox [Электронный ресурс]. – Режим доступа: https://www.mathworks.com/matlabcentral/fileexchange/66586-mobile-robotics-simulation-toolbox – Дата доступа: 11.03.2023.Description of Mobile Robotics Simulation Toolbox [Electronic resourse]. – Access: https://www.mathworks.com/matlabcentral/fileexchange/66586-mobile-robotics-simulation-toolbox – Access date: 11.03.2023.Описание пакета ROS Toolbox [Электронный ресурс]. – Режим доступа: https://www.mathworks.com/products/ros.html – Дата доступа: 11.03.2023.Description of ROS Toolbox [Electronic resourse]. – Access: https://www.mathworks.com/products/ros.html – Access date: 11.03.2023.GitHub [Электронный ресурс]. – Режим доступа: https://github.com/MikitaSaladukha/ROSproject – Дата доступа: 11.03.2023.GitHub [Electronic resourse]. – Access: https://github.com/MikitaSaladukha/ROSproject – Access date: 11.03.2023.

The authors declare that there are no conflicts of interest present.