AI和机器学习

控制人工智能系统如何创建图像

北卡罗来纳州立大学的研究人员开发了一种控制人工智能(AI)系统生成图像的方法,这可能有助于自主机器人和人工智能训练等应用。

由Matt Shipman. 2021年6月2日
北卡罗莱纳州立大学吴天福教授

北卡罗来纳州立大学的研究人员开发了一种控制人工智能(AI)系统生成图像的方法。这项工作的应用领域从自主机器人到人工智能培训。

争论的焦点是一种被称为条件图像生成的人工智能任务,在这种任务中,人工智能系统生成符合特定条件的图像。例如,一个系统可以根据用户要求创建猫或狗的原始图像。最近的技术已经建立在此基础上,以合并关于图像布局的条件。这允许用户指定他们希望在屏幕上的特定位置显示哪些类型的对象。例如,天空可能在一个盒子里,一棵树可能在另一个盒子里,一条流可能在一个单独的盒子里,等等。

这项新工作建立在这些技术的基础上,让用户对生成的图像有更多的控制,并在一系列图像中保留某些特征。

新的AI方法使系统能够创建和保留背景图像,同时还创建与图片到图片一致的数字,但显示更改或移动。北卡罗莱纳州立大学吴天福教授

新的AI方法使系统能够创建和保留背景图像,同时还创建与图片到图片一致的数字,但显示更改或移动。北卡罗莱纳州立大学吴天福教授

“我们的方法是高度可重构的,”一篇关于这项工作的论文的合著者、北卡罗来纳州大学计算机工程助理教授吴天福(Tianfu Wu)说。“和以前的方法一样,我们的方法允许用户让系统根据特定的条件生成图像。但我们的也允许你保留并添加图像。例如,用户可以让AI创建一个山景。用户可以让系统将滑雪者添加到那个场景中。”

此外,新方法允许用户使AI操纵特定元素,以便它们是相同的,但在某种程度上移动或改变了它们。例如,AI可能会创建一系列图像,显示滑雪者在横跨景观时转向观看者。

吴说:“这一技术的一个应用将是帮助自主机器人在开始特定任务之前‘想象’最终结果可能是什么样子。”“你还可以使用该系统生成图像进行人工智能训练。所以,你可以用这个系统创建图像来训练其他人工智能系统,而不是从外部来源编译图像。”

研究人员使用COCO-Stuff数据集和Visual Genome数据集测试了他们的新方法。基于图像质量的标准衡量,新方法优于先前最先进的图像创建技术。

“我们的下一步是看看我们是否可以将这项工作扩展到视频和三维图像,”吴说。

新方法的培训需要相当大的计算能力;研究人员使用4-GPU工作站。然而,部署该系统的计算成本较低。

“我们发现一个GPU为您提供了实时速度,”吴说。

- Chris Vavra编辑,网页内容经理,控制工程,《媒体,cvavra@cfemedia.com


马特·希普曼
作者生物:马特·希普曼(Matt Shipman),北卡罗莱纳州立大学研究交流负责人