谷歌建立了AI代理 通过忽略干扰来学习将其推广

在实验中，该团队表明，注意力代理学会了注意图像中的一系列区域。例如，他们训练它在VizDoom(基于第一人称射击游戏《Doom》的数字研究环境)中的一个关卡中生存，甚至在具有墙壁、地板纹理和标牌的环境中生存。CarRacing游戏OpenAI内的健身房,一个工具包开发和强化学习算法相比,AttentionAgent学会开车在一个阳光明媚的一天晚上开车和转让其技能,在一个下雨的一天,在一个不同的车,与光明或黑暗的风景,在视觉的存在工件。或许更令人印象深刻的是，赛车训练所需的参数——系统内部用于预测的变量——比无法推广的传统方法少了1000倍。

疏忽大意的失明是一种导致人们错过明眼事物的现象。这是选择性关注的结果，这种关注被认为能够使人们将信息压缩为足够紧凑的形式以用于决策。像Yann LeCun这样的发光体断言，它可以激发AI系统的设计，从而更好地模仿生物体的优雅和效率。

为了激发未来的注意力，改进工作，研究人员发布了一系列涉及环境改进的赛车任务。现在可以在GitHub上以开源形式使用。“这是我们用来从重要补丁中提取信息的简单方法，可能不足以完成更复杂的任务，”合著者之一，谷歌研究软件工程师Yujin Tang和东京谷歌研究中心的研究员David Ha写道。“我们如何学习更有意义的功能，甚至从视觉输入中提取符号信息，将是一个令人兴奋的未来方向。”

Google研究人员提议的代理人AttentionAgent致力于将大部分注意力放在与任务相关的元素上，而忽略了干扰。为此，系统将输入图像分割为补丁，并依靠自我关注的体系结构对补丁进行“投票”并选择一个子集。选定的补丁程序会指导AttentionAgent采取行动，因为它会随时了解输入数据的变化，并跟踪重要因素随时间的变化情况。

尽管取得了令人鼓舞的结果，研究人员注意到AttentionAgent有严重的局限性。例如，它并没有泛化到涉及“重大”背景变化的情况。一位在CarRacing上训练有绿草背景的经纪人未能将背景替换为分散注意力的YouTube视频，因此无法一概而论。当背景被均匀的噪声代替时，特工会随机听到一些噪声。而且，在具有嘈杂背景的情况下从头开始培训代理时，它可以绕开轨道，但其性能却中等。

在今年早些时候接受2020年遗传与进化计算会议(GECCO)的一项研究中，Google研究人员调查了采用自我关注瓶颈的AI软件代理的属性。他们声称这些代理不仅显示出解决具有挑战性的基于视觉的任务的能力，而且由于不了解可能使他们感到困惑的细节，因此他们更擅长解决任务的细微修改。