研究人员开发了机器学习技术可以有效地学习控制机器人

麻省理工学院和斯坦福大学的研究人员设计了一种新的机器学习方法，可用于在条件快速变化的动态环境中更有效地控制机器人，例如无人机或自动驾驶汽车。

这项技术可以帮助自动驾驶汽车学会补偿湿滑的路况以避免打滑，允许机器人自由飞行器在太空中牵引不同的物体，或者使无人机能够在强风的冲击下紧紧跟随速降滑雪者。

研究人员的方法将控制理论中的某些结构融入到学习模型的过程中，从而产生一种控制复杂动力学的有效方法，例如由风对飞行器轨迹的影响引起的动力学。思考这种结构的一种方法是作为一种提示，可以帮助指导如何控制系统。

麻省理工学院机械工程系的Esther和HaroldE.Edgerton助理教授NavidAzizan表示：“我们工作的重点是了解系统动力学的内在结构，可用于设计更有效、更稳定的控制器。”和数据、系统和社会研究所(IDSS)，以及信息和决策系统实验室(LIDS)的成员。“通过从数据中共同学习系统的动力学和这些独特的面向控制的结构，我们能够自然地创建在现实世界中更有效地运行的控制器。”

在学习模型中使用这种结构，研究人员的技术可以立即从模型中提取有效的控制器，这与其他需要通过额外步骤单独导出或学习控制器的机器学习方法不同。通过这种结构，他们的方法还能够使用比其他方法更少的数据来学习有效的控制器。这可以帮助他们的基于学习的控制系统在快速变化的环境中更快地实现更好的性能。

“这项工作试图在识别系统结构和从数据中学习模型之间取得平衡，”主要作者、斯坦福大学研究生SpencerM.Richards说。“我们的方法受到机器人学家如何利用物理学推导出更简单的机器人模型的启发。对这些模型的物理分析通常会产生用于控制目的的有用结构——如果你只是试图天真地将模型与数据拟合，你可能会错过这个结构。相反，我们尝试从数据中识别类似有用的结构，以指示如何实现控制逻辑。”

该论文的其他作者包括麻省理工学院机械工程和脑与认知科学教授让-雅克·斯洛廷(Jean-JacquesSlotine)和斯坦福大学航空航天副教授马可·帕沃内(MarcoPavone)。该研究将于7月23日至29日在檀香山举行的国际机器学习会议(ICML)上发表。arXiv服务器上提供了预印本版本。

学习控制器

确定控制机器人完成给定任务的最佳方法可能是一个难题，即使研究人员知道如何对系统的所有内容进行建模。

例如，控制器是使无人机能够遵循所需轨迹的逻辑。该控制器将告诉无人机如何调整其旋翼力，以补偿风的影响，风可能会将其吹离稳定的路径以到达目标。

这架无人机是一个动态系统——一个随着时间的推移而演变的物理系统。在这种情况下，它的位置和速度在飞过环境时会发生变化。如果这样的系统足够简单，工程师就可以手动推导出控制器。

手动对系统进行建模本质上捕获了基于系统物理特性的特定结构。例如，如果使用微分方程手动建模机器人，则可以捕获速度、加速度和力之间的关系。加速度是速度随时间的变化率，由机器人的质量和施加的力决定。

但系统通常过于复杂，无法通过手工精确建模。理查兹解释说，众所周知，空气动力学效应，例如旋风推动飞行器的方式，很难手动推导出来。研究人员会随着时间的推移测量无人机的位置、速度和旋翼速度，并使用机器学习将该动态系统的模型与数据相匹配。

但这些方法通常不会学习基于控制的结构。这种结构对于确定如何最好地设置旋翼速度以引导无人机随时间的运动非常有用。

一旦对动力系统进行了建模，许多现有方法也会使用数据来学习系统的单独控制器。

“其他试图从数据中学习动力学和控制器作为单独实体的方法在哲学上与我们通常为更简单的系统所做的方式有点脱节。我们的方法更让人想起从物理中手动导出模型并将其与控制联系起来，“理查兹说。

识别结构

来自麻省理工学院和斯坦福大学的团队开发了一种使用机器学习来学习动力学模型的技术，但通过这种方式，该模型具有一些对于控制系统有用的规定结构。

通过这种结构，他们可以直接从动力学模型中提取控制器，而不是使用数据来学习控制器的完全独立的模型。

“我们发现，除了学习动力学之外，学习支持有效控制器设计的面向控制的结构也很重要。我们学习动力学的状态相关系数分解的方法在数据效率和跟踪能力方面优于基线，事实证明，它能够成功地高效且有效地控制系统的轨迹。”阿齐赞说。

当他们测试这种方法时，他们的控制器严格遵循期望的轨迹，超过了所有基线方法。从他们的学习模型中提取的控制器几乎与地面实况控制器的性能相匹配，该控制器是使用系统的精确动力学构建的。

理查兹补充道：“通过做出更简单的假设，我们得到了一些实际上比其他复杂基线方法更有效的方法。”

研究人员还发现他们的方法具有数据效率，这意味着即使数据很少，它也能实现高性能。例如，它仅使用100个数据点就可以有效地对高动态转子驱动车辆进行建模。使用多个学习组件的方法在数据集较小时性能下降得更快。

这种效率可以使他们的技术在无人机或机器人需要在快速变化的条件下快速学习的情况下特别有用。

另外，他们的方法是通用的，可以应用于多种类型的动力系统，从机械臂到在低重力环境中运行的自由飞行航天器。

理查兹说，未来，研究人员有兴趣开发更具物理解释性的模型，并且能够识别有关动力系统的非常具体的信息。这可能会带来性能更好的控制器。

“尽管非线性反馈控制无处不在且很重要，但它仍然是一门艺术，使其特别适合数据驱动和基于学习的方法。本文提出了一种联合学习系统动力学、控制器、宾夕法尼亚大学电气与系统工程系助理教授NikolaiMatni表示，他没有参与这项工作。

“我发现特别令人兴奋和引人注目的是将这些组件集成到联合学习算法中，使得面向控制的结构在学习过程中充当归纳偏差。结果是一个数据高效的学习过程，输出动态模型，“享受能够实现有效、稳定和鲁棒控制的内在结构。虽然这篇论文的技术贡献本身就很出色，但我认为最令人兴奋和最重要的是这种概念贡献，”Matni说。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！