sapiСистемный анализ и прикладная информатика«System analysis and applied information science»2309-49232414-0481Belarusian National Technical University10.21122/2309-4923-2024-4-13-20sapi-701Research ArticleСистемный анализSystem analysisУсложнение посредством постепенного вовлечения и предоставления вознаграждения в глубоком обучении с подкреплениемComplexification through gradual involvement and reward Providing in deep reinforcement learningРулькоЕ. B.Rulko,E. V.

Рулько Евгений Викторович, кандидат технических наук, доцент, начальник научно-исследовательской лаборатории моделирования военных действий г. Минск

Eugene Rulko, РhD, associate professor in computer science. The head of the research laboratory of military operation simulation Minsk

eugeni1533@gmail.comВоенная академия Республики БеларусьБеларусьMilitary academy of the Republic of BelarusBelarus202426122024041320Copyright © Рулько Е.B., 20242024Рулько Е.B.Rulko, E.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://sapi.bntu.by/jour/article/view/701

Тренировка нейронной сети, в рамках задач обучения с подкреплением, имеющей достаточную вычислительную емкость для решения сложных задач достаточно проблематична. В реальной жизни процесс решения задач требует системы знаний, где процесс изучения более сложных навыков основывается на использовании уже имеющихся. Аналогично, в ходе биологической эволюции, новые формы жизни базируются на достигнутом на предыдущем этапе уровне структурной сложности. Используя данные идеи, в настоящей работе предложены способы увеличения сложности архитектуры нейронных сетей, в частности способ тренировки сети с меньшем рецептивным полем и использованием натренированных весов в качестве отправной точки для более сложных сетей через постепенное вовлечение некоторых частей, а также способ предполагающий использование более простой сети с целью предоставления вознаграждения для более сложной. Это позволяет получить лучшую производительность в конкретном описанном примере, использующем Q-обучение, по сравнению со сценариями, когда сеть пытается использовать больший вектор входной информации с нуля.

Training a relatively big neural network within the framework of deep reinforcement learning that has enough capacity for complex tasks is challenging. In real life the process of task solving requires system of knowledge, where more complex skills are built upon previously learned ones. The same way biological evolution builds new forms of life based on a previously achieved level of complexity. Inspired by that, this work proposes ways of increasing complexity, especially a way of training neural networks with smaller receptive fields and using their weights as prior knowledge for more complex successors through gradual involvement of some parts, and a way where a smaller network works as a source of reward for a more complicated one. That allows better performance in a particular case of deep Q-learning in comparison with a situation when the model tries to use a complex receptive field from scratch.

глубокое обучение с подкреплениемQ-обучениеобучение по куррикулумомудистилляционная модельформирование вознаграждения в обучение с подкреплениемdeep reinforcement learningQ-learningcurriculum learningdistillation modelrewardReferencesZhuangdi Zhu et al. Transfer Learning in Deep Reinforcement Learning: A Survey. 2023. arXiv: 2009.07888.Zhuangdi Zhu et al. Transfer Learning in Deep Reinforcement Learning: A Survey. 2023. arXiv: 2009.07888.Petru Soviany et al. Curriculum Learning: A Survey. 2022. arXiv: 2101.10382.Petru Soviany et al. Curriculum Learning: A Survey. 2022. arXiv: 2101.10382.Vassil Atanassov et al. Curriculum-Based Rein-forcement Learning for Quadrupedal Jumping: A Reference-free Design. 2024. arXiv: 2401.16337.Vassil Atanassov et al. Curriculum-Based Rein-forcement Learning for Quadrupedal Jumping: A Reference-free Design. 2024. arXiv: 2401.16337.Yash J. Patel et al. Curriculum reinforcement learning for quantum architecture search under hardware errors. 2024. arXiv: 2402.03500.Yash J. Patel et al. Curriculum reinforcement learning for quantum architecture search under hardware errors. 2024. arXiv: 2402.03500.David Hoeller et al. ANYmal Parkour: Learning Agile Navigation for Quadrupedal Robots. 2023. arXiv: 2306.14874.David Hoeller et al. ANYmal Parkour: Learning Agile Navigation for Quadrupedal Robots. 2023. arXiv: 2306.14874.Ken Caluwaerts et al. Barkour: Benchmarking Animal-level Agility with Quadruped Robots. 2023. arXiv: 2305.14654.Ken Caluwaerts et al. Barkour: Benchmarking Animal-level Agility with Quadruped Robots. 2023. arXiv: 2305.14654.Andrei A. Rusu et al. Progressive Neural Networks. 2022. arXiv: 1606.04671.Andrei A. Rusu et al. Progressive Neural Networks. 2022. arXiv: 1606.04671.Enric Boix-Adsera. Towards a theory of model distillation. 2024. arXiv: 2403.09053.Enric Boix-Adsera. Towards a theory of model distillation. 2024. arXiv: 2403.09053.Timo Kaufmann et al. A Survey of Reinforcement Learning from Human Feedback. 2024. arXiv: 2312. 14925 [cs.LG]. URL: https://arxiv.org/abs/2312.14925..Timo Kaufmann et al. A Survey of Reinforcement Learning from Human Feedback. 2024. arXiv: 2312. 14925 [cs.LG]. URL: https://arxiv.org/abs/2312.14925.E. Rulko. Complexification Through Gradual Involvement in Deep Reinforcement Learning. https://github.com/Eugene1533/snake-aipytorch-complexification. 2024.E. Rulko. Complexification Through Gradual Involvement in Deep Reinforcement Learning. https://github.com/Eugene1533/snake-aipytorch-complexification. 2024.P. Loeber. Reinforcement Learning With PyTorch and Pygame. https : / / github . com / patrickloeber/snake-aipytorch.2021.P. Loeber. Reinforcement Learning With PyTorch and Pygame. https : / / github . com / patrickloeber/snake-aipytorch.2021.

The authors declare that there are no conflicts of interest present.