〇机器学习

让机器人自学如何移动

灵活的、开放式的学习软件可以工作,但发现现实世界很困难。

由管子连接的三个小部件的硬件图像。
扩大 /机器人火车。
Oliveri等人。

近年来最令人印象深刻的发展之一是人工智能系统的生产,这些系统可以自学掌握更大系统的规则。显著的成功有包括象棋实验而且星际争霸.鉴于这种自学能力,人们很容易认为计算机控制的系统应该能够自学操作所需的所有知识。显然,对于像自动驾驶汽车这样的复杂系统,我们还没有做到这一点。但是用一个更简单的系统应该容易得多,对吧?

也许不是。阿姆斯特丹的一组研究人员试图用一个非常简单的移动机器人,创建一个通过边做边学的过程来学习优化其运动的系统。虽然研究人员开发的系统是灵活的,可能是有效的,但由于现实世界的一些基本特征,如摩擦,它遇到了麻烦。

粗纱机器人

研究中的机器人非常简单,由不同数量的相同单元组成。每个都有一个机载控制器,电池和运动传感器。泵控制着一段充气管,将一个装置与相邻的装置连接起来。当充气时,管子产生的力将两个单元推开。当放气时,油管将把单元拉回一起。

将这些单元连接在一起就形成了一列自行推进的火车。给定一系列适当的通货膨胀和通货紧缩,单个单元可以以协调的方式相互拖动和推动,提供一个方向运动,推动系统像尺蠖一样向前移动。要计算出发送到控制通货膨胀的泵的最优命令系列相对简单——简单,但不是特别有趣。因此,这项新工作背后的研究人员决定看看该系统是否可以优化自己的运动。

每个单位都被允许独立行动,并被赋予一套简单的规则。通货膨胀/通货紧缩被设定为每两秒循环一次,唯一可调的参数是,在这两秒窗口内,泵将启动(它将持续不到一秒)。链条上的每个单元将随机选择一个开始时间,使用它几个周期,然后使用系统的机载传感器来确定机器人移动了多远。在学习期间,开始时间是随机选择的,然后是细化期,在此期间,对最佳表现时间附近的区域进行抽样。

关键的是,链条中的每个单元都是完全独立运行的,不知道其他单元在做什么。向前运动所需的协调性自然而然地出现了。

研究人员首先将两个机器人和一个惰性块连接成一列火车,并将该系统放置在环形轨道上。一些列车只花了大约80秒就达到了可能的最高速度,即每秒2毫米多一点的庄严速度。这种硬件不可能跑得更快,正如模型系统中的模拟所证实的那样。

没那么快

但问题马上就显现出来了。有些系统会卡在局部最小值,优化速度只有最大可能速度的四分之一。当该团队在火车上增加了第三个机器人时,事情以另一种方式恶化了。

在这里,系统只花了几分钟就接近模拟中看到的最大速度。但一旦它们达到这个速度,大多数系统似乎就开始减速。这应该是不可能的,因为单位总是保存与他们达到的最大速度相关的周期开始时间。既然它们不应该故意选择较低的速度,它们就没有理由减速,对吧?

幸运的是,团队中有人注意到系统并没有经历统一的减速。相反,他们在赛道上的特定位置几乎停止了,这表明他们在这些点遇到了摩擦问题。尽管机器人一直在赛道上其他地方执行与最大速度相关的动作,但它们在一个不同的动作可能更有效地通过摩擦力的位置执行动作。

为了解决这个问题,研究人员进行了一些重新编程。最初,系统只是寻找最大速度并存储它和与之相关的膨胀周期开始时间。切换后,系统总是保存最近的速度,但只有当存储的速度比最近的速度慢时,才会更新开始时间。如果系统遇到困难,速度急剧下降,它可以找到一种最优的方式,然后在之后重新优化最佳速度。

这一调整使四车系统以每秒两毫米的平均速度移动。虽然不如三节车厢的火车好,但也很接近。

更多的曲折

期望与现实之间的不幸并没有就此结束。为了测试系统是否能够学会从故障中恢复,研究人员阻塞了其中一个单元的释放阀,迫使它一直处于充气状态。算法重新进行了优化,但研究人员发现,当泵仍处于开关状态时,即使泵没有推动任何空气,它的工作效果也会更好。显然,振动有助于限制摩擦,否则可能使整个系统陷入困境。

优化系统尝试接近最大值的出发时间,一旦列车足够长,也会出现问题。以七辆车为例,系统会定期达到最高速度,但很快就会减速。显然,当列车很小的时候,改进过程中测试的轻微变化是可以容忍的,但一旦列车足够长,就会导致太多车厢不同步。188金宝搏维护

尽管如此,整个系统还是相当有效的,即使是在一个简单的系统上使用。它采用了两个简单的特性,并把它们变成了一个可以对摩擦等环境变化做出反应的自我学习系统。该系统是可扩展的,因为它在不同列车长度的系统中工作得很好。它对损伤也很坚固,比如当研究人员阻塞一个阀门时。在另一项实验中,研究人员将火车切成两半,两半都重新优化了速度。

虽然简单,但该系统为我们如何看待自学系统提供了一些见解。这个实验提醒我们,现实世界即使是最好的自学系统也会遇到一些困难。

PNAS, 2021年。DOI:10.1073 / pnas.2017015118对必须).

你必须置评。

通道Ars Technica