首页科技快讯单手解魔方效果惊艳，OpenAI发布最强机器手

单手解魔方效果惊艳，OpenAI发布最强机器手

来源：晰数塔互联网快讯时间：2019年10月16日 12:58

编者按：本文来自微信公众号“图灵TOPIA”，来源 OpenAI，编译刘静、闫娜，36氪经授权发布。

我们见识过人类花式解魔方～

也见过颜值略低的机器人解魔方～

单手解魔方效果惊艳，OpenAI发布最强机器手

但是机器人单手解魔方你见过吗？

近日，OpenAI的研究人员就训练了一对神经网络，可以让机器人单手解魔方，效果极其惊艳！

单手解魔方效果惊艳，OpenAI发布最强机器手

使用与OpenAI Five相同的强化学习代码，搭配一种称为自动域随机化（ADR）的新技术，对神经网络进行全面的模拟训练，该系统可以处理训练中从未见过的情况。

研究人员通过此次实践表明强化学习不仅是虚拟任务的工具，而且可以解决需要前所未有的灵活性的物理世界问题。

人类的双手使我们能够解决各种各样的任务。在过去60年的机器人技术中，人类用可以固定的双手完成艰巨的任务，而对于机器人来说，却需要为每个任务设计一个定制的机器人。

作为替代方案，大家花了数十年的时间尝试使用通用机器人硬件，但由于自由度高，取得的成功有限。

自2017年5月以来，OpenAI的研究人员一直在尝试训练像人一样的机器人手来解决魔方问题。之所以设定这个目标，是因为他们相信，成功地训练这样一只机械手来完成复杂的操作任务，会为通用型机器人奠定了基础。

单手解魔方的任务即使对人类来说也是一项艰巨的任务，而且一般儿童需要数年的时间才能掌握所需要的灵巧性。不过，OpenAI的机器人技术并非完美，因为解出魔方的概率是60%。（最大难度的只有20％的成功率）。

怎么实现的？

机器目前难以掌握的问题：感知和灵巧操纵。

因此，研究人员训练神经网络以实现所需的面旋转和由Kociemba算法生成的立方体翻转。

域随机数据生成使仅在模拟中训练的网络可以迁移到真实的机器人上。

域随机数据生成使神经网络暴露于同一问题的许多不同变体，在这种情况下解魔方面临的最大挑战是在模拟环境中创建足以捕获现实世界物理特征的环境。

对于像魔方或机械手这样复杂的物体，很难测量和建模诸如摩擦，弹性和动力学之类的因素，仅仅依靠域随机数据生成是不够的。

为了克服这个问题，研究人员开发了一种称为自动域随机化（ADR）的新方法，该方法会在模拟中不断产生越来越困难的环境。

该工作与POET紧密相关，POET自动生成2D环境。但是，该工作学习了针对所有环境的联合策略，此策略可以转移到任何新生成的环境。

这使其摆脱了对真实世界的精确模型的束缚，并使在模拟中学习到的迁移神经网络能够应用于真实世界。

ADR从单一的非随机环境开始，在该环境中，神经网络学习了如何解魔方。随着神经网络性能的提高和性能阈值的增大，域随机化的数量会自动增加。由于神经网络现在必须学会将其推广到更随机的环境，因此这使任务更加艰巨。网络不断学习，直到再次超过性能阈值，然后再进行更多随机化，然后重复该过程。

单手解魔方效果惊艳，OpenAI发布最强机器手

研究人员随机化的参数之一是魔方的尺寸（上图）。ADR从固定大小的魔方开始，然后随着训练的进行逐渐增加随机范围。我们将相同的技术应用于所有其他参数，例如立方体的质量，机器人手指的摩擦力和手的视觉表面材料。因此，神经网络必须学会在所有这些越来越困难的条件下解魔方。

单手解魔方效果惊艳，OpenAI发布最强机器手

域随机化数据要求手动指定随机化范围，这是困难的，因为太多的随机化会使学习变得困难，但是太少的随机化则会阻碍向真实机器人迁移。ADR通过自动扩展随机范围来解决此问题，而无需人工干预。ADR消除了对领域知识的需求，并使将该方法应用于新任务更加简单。与手动域随机化相比，ADR还使任务始终具有挑战性，而训练却从未收敛。

在块翻转任务上，将ADR与手动域随机化进行比较，而该任务已经有了很强的基线。在一开始，ADR在真实机器人上的成功次数方面表现较差。但是随着ADR增大熵（这是对环境复杂性的度量），迁移性能表现最终将在基线上翻倍，而无需人工调整。