Алгоритм огибания препятствий при перемещении мобильного робота с использованием Q-обучения и технологии блокчейн

Предложен алгоритм моделирования движения робота с огибанием препятствий при использовании метода машинного Q-обучения. Применение Q-обучения позволяет сохранять полученные при моделировании вознаграждения, выполняя оптимальные действия в каждом конкретном состоянии, при этом в Q-таблице содержится информация о состоянии и действии робота. Сохранение Q-таблицы в блокчейне с использованием технологии IPFS (InterPlanetary File System) позволяет надежно и децентрализованно хранить данные о состояниях и действиях робота. Контент адресации в IPFS отделяет данные от их местоположения и извлекает файлы из нескольких источников в пиринговом режиме. Для предложенного алгоритма проведен вычислительный эксперимент с применением среды моделирования движения робота. В пакете визуализации Gazebo 11 показано, что с использованием нового алгоритма препятствия огибаются быстрее (на 59,8 %), чем при использовании предыдущей версии алгоритма.

1. Сидоренко, А. В. Огибание препятствий при перемещении мобильного робота / А. В. Сидоренко, Н. А. Солодухо // Системный анализ и прикладная информатика. – 2023. – № 1. – С. 4-9. – DOI: 10.21122/2309-4923-2023-1-4-9

2. Сидоренко, А. B. Алгоритм огибания препятствий при перемещении мобильного робота / А. В. Сидоренко, Н. А. Солодухо // Системный анализ и прикладная информатика. – 2024. – № 4. – С. 29-33. – DOI: 10.21122/2309-4923-2024-4-29-33

3. Altuntas, N. Reinforcement learning-based mobile robot navigation / Nihal Altuntaş, Erkan Imal, Nahit Emanet, Ceyda Nur Ozturk // Turkish Journal of Electrical Engineering & Computer Sciences. – 2016. – Vol. 24, № 3. – P. 1747-1767. – DOI: org/10.3906/elk-1311-129

4. GitHub : [site]. – [San Francisco, California], 2008. – URL: https://github.com/MikitaSaladukha/ROSproject/tree/with-blockchain-json (date of access: 20.01.2025).

5. IPFS : [site]. – URL: https://ipfs.tech/ (date of access: 20.01.2025).

6. YouTube : [site]. – URL: https://www.youtube.com/playlistlist=PLU4iF0_W9xOlrE8brTv5WYbpmQgZQ0OHk (date of access: 20.01.2025)