基于深度強化學習和社會力模型的移動機器人自主避障
網絡安全與數據治理 2023年3期
李恒，劉輕塵，馬麒超
（中國科學技術大學信息科學技術學院，安徽合肥230026）
摘要： 深度強化學習在移動機器人自主避障領域已得到廣泛應用，其基本原理是通過模擬環境中的不斷試錯，結合獎勵機制提升機器人的避障性能。然而，針對不同任務場景，網絡訓練效率存在顯著差異。同時，在人群密集的場景中，機器人的行為可能對人類造成干擾。為了應對訓練效率低下和機器人行為不符合社會規范的問題，提出了一種將社會力模型融入深度強化學習的自主避障策略。該策略首先將人類未來的運動軌跡考慮進獎勵函數，以確保機器人理解人類意圖并避免闖入人類的舒適區。其次，在訓練過程中引入先驗的傳統控制器模型，并設計了一種基于概率的切換開關，以隨機切換控制器輸出，提高機器人的探索效率。實驗結果表明，所提出的方法能夠增加機器人與人類之間的安全距離，同時實現平穩導航。
中圖分類號：TP273
文獻標識碼：A
DOI:10.19358/j.issn.2097-1788.2023.03.011
引用格式：李恒，劉輕塵，馬麒超.基于深度強化學習和社會力模型的移動機器人自主避障［J］.網絡安全與數據治理，2023,42(3):68-73，79.
文獻標識碼：A
DOI:10.19358/j.issn.2097-1788.2023.03.011
引用格式：李恒，劉輕塵，馬麒超.基于深度強化學習和社會力模型的移動機器人自主避障［J］.網絡安全與數據治理，2023,42(3):68-73，79.
Autonomous obstacle avoidance for mobile robots based on deep reinforcement learning and social force model
Li Heng，Liu Qinchen，Ma Qichao
(School of Information Science and Technology, University of Science and Technology of China, Hefei 230026, China)
Abstract： Deep reinforcement learning has been widely applied in the field of mobile robot autonomous obstacle avoidance Its basic principle is to simulate continuous trialanderror in the environment and improve the robot’s obstacle avoidance performance by combining reward mechanisms However, the training efficiency of the network varies significantly depending on the task scene, and in crowded scenes, the robot’s behavior may cause interference with humans To address the problems of low training efficiency and robots behaving inappropriately, this paper proposes a selfobstacle avoidance strategy that incorporates the social force model into deep reinforcement learning The strategy firstly considers the future trajectory of humans in the reward function to ensure that the robot understands human intentions and avoids entering the human comfort zone Secondly, during the training process, a priori traditional controller model is introduced and a probabilitybased switching method is designed to randomly switch controller outputs to improve the robot’s exploration efficiency The experimental results show that the proposed method can increase the safety distance between the robot and humans while achieving smooth navigation.
Key words : eep reinforcement learning; social force model; autonomous obstacle avoidance
0 引言
自主避障是移動機器人應用中的基礎技術，其可以確保機器人在機場和購物中心等人流擁擠場景中實現安全導航。人類有觀察他人以調整自身行為的能力，因此可以輕松穿過人群。然而，在高度動態和擁擠的場景中進行自主避障仍然是移動機器人的一項艱巨任務。傳統導航框架中的避碰模塊通常將動態障礙物視為靜態，例如動態窗口方法（DWA），或者僅根據某些交互規則關注下一步行動，例如互惠速度障礙（RVO）和最優互惠碰撞避免（ORCA）。由于這些方法僅通過被動反應防止碰撞，并且通常使用人為定義的函數以保證安全，因此會導致機器人的運動不自然、短視和不安全。相比之下，強化學習導航技術可以通過不斷地探索和學習增強機器人的感知能力，從而實現更有力的決策。
本文詳細內容請下載：http://m.xxav2194.com/resource/share/2000005258
作者信息：
李恒，劉輕塵，馬麒超
（中國科學技術大學信息科學技術學院，安徽合肥230026）
此內容為AET網站原創，未經授權禁止轉載。