Рулько Евгений Викторович – кандидат технических наук, доцент. г. Минск
E-mail: eugeni1533@gmail.com
Eugene V. Rulko – PhD of Engineering Sciences. Associate Professor,Minsk
E-mail: eugeni1533@gmail.com
В работе предложены усложняющиеся акторы в рамках алгоритма двойного отсроченного глубокого детерминированного градиента политики (TD3), что предполагает использование различных векторов состояний для акторов и критиков с целью обеспечения сходимости алгоритма. Работа также описывает процесс агрегирования моделей, раздельно натренированных на датасетах или в симуляции на задачах с увеличивающейся сложностью, соединяя их вместе шаг за шагом в единую систему. Это позволяет использовать существующие алгоритмы, такие как YOLO, в системах обучения с подкреплением, осуществляя процесс объединения данных датчиков и постепенно увеличивая функциональность без потери сходимости. Предоставление ассистирования позволяет тренировать в симуляции системы машинного обучения на основе жестко запрограммированных алгоритмов, использующих упрощенные вектора состояний. Данные техники продемонстрированы на задаче построения системы защиты бронемашин от БПЛА.
The work suggests complexifying actors within the framework of TD3 which involves the usage of different state vectors for actors and critics in order to assure convergence of the algorithm. It also describes a process of aggregating models, separately trained on datasets or in simulation on tasks with increasing difficulty, stitching everything together step by step into a single end-to-end system. It allows utilizing existing algorithms, such as YOLO, in reinforcement learning systems, performing sensor fusion and gradually adding functionality without losing convergence. Assistance providing allows training systems in simulation from hardcoded algorithms that use simplified states. These techniques are demonstrated on a particular task of building an anti-drone system for armored vehicles.
The authors declare that there are no conflicts of interest present.