自动图像修饰的电话，视觉应用程序

今天的数码相机捕捉到的数据通常被视为最终图像的原材料。在把照片上传到社交网站之前，即使是随便用手机拍照的人，也可能要花上一两分钟，用现在流行的图像处理程序中的一种来平衡颜色和调整对比度。

麻省理工学院计算机科学与人工智能实验室(CSAIL)和谷歌的研究人员展示了一种新系统，可以自动以专业摄影师的风格修饰图像。它的效率足以在手机上运行，而且它的速度非常快，可以实时显示经过润色的图像，这样摄影师就可以在取景的同时看到图像的最终版本。这可能会为处理机器视觉应用的制造商带来重大好处。

同样的系统还可以加速现有的图像处理算法。在一种新的谷歌算法用于生成高动态范围(HDR)图像(捕捉标准数字图像中丢失的细微颜色)的测试中，新系统生成的结果与算法生成的结果在视觉上难以区分，只需大约十分之一的时间——再次，足够快地用于实时显示。

该系统是一个机器学习系统，这意味着它通过分析训练数据来学习执行任务;在这种情况下，对于它学习的每一个新任务，它都在数千对原始和修饰的图像上进行训练。

这项工作建立在麻省理工学院研究人员早期的一个项目上，在这个项目中，手机会向网络服务器发送低分辨率的图像版本。服务器将发送回一个“转换配方”，可以用来修饰手机上的高分辨率图像，从而减少带宽消耗。

“谷歌听说了我在转换配方上所做的工作，”Michaël Gharbi说，他是麻省理工学院电气工程和计算机科学专业的研究生，也是这两篇论文的第一作者。“他们自己也做了后续工作，所以我们相遇并融合了两种方法。我们的想法是做我们以前做的所有事情，但不是必须在云上处理所有事情，而是学习它。学习它的第一个目标就是加快速度。”

捷径

在新的工作中，大量的图像处理是在低分辨率的图像上进行的，这大大减少了时间和能量消耗。但这引入了一个新的困难，因为高分辨率图像中单个像素的颜色值必须从机器学习系统的更粗糙的输出中推断出来。

在过去，研究人员试图使用机器学习来学习如何对低分辨率图像进行“上采样”，或者通过猜测省略像素的值来提高其分辨率。在训练过程中，系统的输入是低分辨率图像，输出是高分辨率图像。但这在实践中并不奏效;低分辨率的图像遗漏了太多的数据。

Gharbi和他的同事——麻省理工学院电气工程和计算机科学教授Frédo Durand and Jiawen Chen, Jon Barron和google的Sam Hasinoff用两个聪明的技巧解决了这个问题。首先，他们的机器学习系统的输出不是图像;相反，它是一组用于修改图像像素颜色的简单公式。在训练过程中，系统的性能是根据输出公式应用于原始图像时，与润色版本的近似程度来判断的。

将轴承

第二个技巧是确定如何将这些公式应用于高分辨率图像中的单个像素的技术。研究人员的系统输出是一个16 x 16 x 8的三维网格。网格的16 × 16面对应源图像中的像素位置;堆叠在它们上面的八层对应不同的像素强度。网格的每个单元格都包含确定源图像颜色值修改的公式。

这意味着网格的16 × 16面中的每个单元格必须代表高分辨率图像中的数千个像素。但假设每一组公式都对应于其单元格中心的单个位置。然后，任何给定的高分辨率像素都落在由四组公式定义的正方形内。

粗略地说，像素的颜色值的修改是正方形边角公式的组合，根据距离加权。类似的权重发生在网格的第三维，对应于像素强度。

研究人员用杜兰德的团队和Photoshop的创造者奥多比系统公司创建的数据集训练他们的系统。该数据集包括5000张图片，每张图片都由5位不同的摄影师修饰过。他们还用特定的图像处理算法(比如用于创建HDR图像的算法)生成的数千对图像来训练他们的系统。每次修改所使用的软件所占用的内存空间与一张数码照片相当，所以原则上，一部手机可以处理多种风格的图像。

最后，研究人员将他们的系统的性能与以全分辨率而不是低分辨率处理图像的机器学习系统进行了比较。在处理过程中，全分辨率版本需要大约12gb的内存来执行其操作;研究人员的版本需要大约100mb，或者是它的百分之一。全分辨率版本的HDR系统生成图像的时间大约是原始算法的10倍，是研究人员系统的100倍。

Barron说:“这项技术对于移动平台上的实时图像增强非常有用。”“使用机器学习进行计算摄影是一个令人兴奋的前景，但受到移动电话严重的计算和功率限制。这篇论文可能会为我们提供一种方法来回避这些问题，并产生新的、引人注目的、实时的摄影体验，而不会耗尽电池，也不会给你带来滞后的取景器体验。”

麻省理工学院

www.mit.edu

-由克里斯·瓦夫拉编辑，制作编辑，控制工程，cvavra@cfemedia.com．查看更多控制工程离散的传感器和视觉故事．

您是否具有本内容中提到的主题的经验和专业知识?你应该考虑为我们的CFE媒体编辑团队做出贡献，并获得你和你的公司应得的认可。点击在这里开始这个过程。