框架改进了人工智能的持续学习

研究人员为深度神经网络开发了一个框架，使人工智能(AI)系统能够更好地学习新任务，同时“忘记”更少地学习以前的任务。研究人员还证明，使用该框架学习新任务可以使人工智能更好地完成以前的任务，这种现象被称为向后迁移。

“人们有能力不断学习;我们一直在学习新的任务，而不会忘记我们已经知道的东西，”北卡罗来纳州立大学电子与计算机工程助理教授吴天福说。“迄今为止，使用深度神经网络的人工智能系统在这方面还不是很擅长。”

“深度神经网络人工智能系统是为学习狭窄的任务而设计的，”北卡罗来纳州立大学博士研究生李希来说。因此，在学习新任务时可能会发生以下几种情况之一。系统可以在学习新任务时忘记旧任务，这被称为灾难性遗忘。系统可能会忘记一些关于旧任务的知识，同时也不会学习执行新任务。或者系统可以在添加新任务的同时修复旧任务——这限制了改进，并迅速导致人工智能系统过于庞大而无法有效运行。持续学习，也被称为终身学习或学会学习，正试图解决这个问题。”

Salesforce research的研究科学家周英波表示:“我们提出了一种新的持续学习框架，它将网络结构学习和模型参数学习解耦。”“我们称之为‘学习成长框架’。在实验测试中，我们发现它优于以前的持续学习方法。”

要理解Learn To Grow框架，可以把深度神经网络想象成一个充满多层的管道。原始数据进入管道的顶部，任务输出从管道的底部出来。管道中的每个“层”都是一种计算，它操纵数据以帮助网络完成其任务，例如识别数字图像中的对象。在管道中有多种排列层的方法，它们对应于网络的不同“体系结构”。

当要求深度神经网络学习一项新任务时，learn to Grow框架首先通过搜索进行显式神经架构优化。这意味着，当网络到达其系统的每一层时，它可以决定做以下四件事中的一件:跳过该层;使用图层的方式与之前的任务相同;将一个轻量级适配器附加到该层，这会稍微修改它;或者创建一个全新的图层。

这种架构优化有效地布局了完成新任务所需的最佳拓扑或层系列。一旦完成，网络就会使用新的拓扑来训练自己如何完成任务——就像任何其他深度学习人工智能系统一样。

李说:“我们使用了几个数据集进行了实验，我们发现，新任务与以前的任务越相似，就执行新任务的现有层而言，重叠的部分就越多。”“更有趣的是，通过优化或‘学习’的拓扑结构，一个被训练来执行新任务的网络几乎不会忘记执行旧任务所需的东西，即使旧任务并不相似。”

研究人员还进行了实验，将“学习成长”框架学习新任务的能力与其他几种持续学习方法进行了比较，发现“学习成长”框架在完成新任务时具有更好的准确性。

为了测试每个网络在学习新任务时可能忘记了多少，研究人员随后测试了每个系统在执行旧任务时的准确性——学习成长框架再次优于其他网络。

“在某些情况下，‘学习成长’框架实际上在执行旧任务方面表现得更好，”Salesforce research的研究总监熊才明(音)说。这被称为向后迁移，当你发现学习一项新任务会让你在旧任务中做得更好时，就会发生这种情况。我们经常在人们身上看到这种情况;而人工智能则不然。”

马特·希普曼，研究沟通主管;北卡罗莱纳州立大学。克里斯·瓦夫拉编辑，制作编辑，控制工程， CFE传媒，cvavra@cfemedia.com。

您是否具有本内容中提到的主题的经验和专业知识?您应该考虑为我们的CFE媒体编辑团队做出贡献，并获得您和您的公司应得的认可。点击在这里开始这个过程。