关键词:
深度强化学习
机械臂
柔顺控制
恒力跟踪
摘要:
医疗机器人是指具有自主控制和自动执行医疗任务功能的机器人,被广泛地应用于医疗保健领域。随着人工智能技术与机器人技术的不断突破,医疗机器人也在不断发展和完善,可以有效地帮助医生进行一系列的医疗诊断和辅助治疗,缓解当前社会医疗资源短缺的问题。考虑到医疗任务大多存在着复杂多变的情况,对环境难以精确建模,所以具有自主学习的能力就变得至关重要,使机械臂可以根据环境的变化自主调节自身状态并完成任务。深度强化学习作为一种面向决策控制的革命性技术,可以通过不断的试错对策略进行训练,并通过设计的奖励函数引导学习到最优策略,这种方法为机器人的控制提供了新的思路。因此,本文主要基于深度强化学习算法,针对设定的医疗任务,实现机械臂的完整控制过程。基于此,本文主要的研究内容如下:(1)针对控制机械臂完成医疗听诊任务的问题,提出了一种基于深度强化学习的恒力跟踪方法。在医疗听诊中为了清晰地获取到声音信号,需要考虑到由呼吸引起的身体表面上下起伏的情况。所以在听诊过程中,需要控制机械臂不断调整末端执行器的位置跟踪变化的接触位置,并维持恒定的接触力。因此,为了模拟真实听诊场景,专门设计了一个动态听诊仿真环境,且可以通过更改状态变化函数的参数模拟不同的变化情况。同时,为了实现医疗听诊任务中控制策略的高效训练,根据听诊任务的具体要求,对状态函数、奖励函数进行了最优设计,并采用近端策略优化算法对机械臂完成训练。(2)针对控制机械臂完成护理按摩任务的问题,提出了一种基于深度强化学习的恒力跟踪方法。考虑到医疗听诊任务中,机械臂只涉及一维运动,所以为了进一步延伸研究内容,将该方法扩展到二维运动的护理按摩任务中。为此,在听诊仿真环境的基础上构建了护理按摩场景,并实现了训练护理按摩控制策略的目的。在该场景中,静止情况下,机械臂只需在跟踪指定路径的过程中维持恒力跟踪控制,在动态情况下,机械臂需要在克服上下起伏变化的接触位置的同时完成路径的跟踪,最终实现恒力跟踪控制。同时,根据护理按摩任务的特定要求,对状态函数和奖励函数进行了最优设计,实现该任务下控制策略的高效训练。最后,在Pybullet完成了医疗听诊任务和护理按摩任务中恒力跟踪控制策略的训练,并在仿真环境中进行了大量的测试与泛化实验。此外,在真实机械臂上进行了算法验证,实验结果表明,算法可以实现良好的恒力跟踪效果。