利用反射来增强视角和视野

机器和离散视觉洞察

• 麻省理工学院和莱斯大学的研究人员发明了一种计算机视觉技术，利用反射来成像世界。
• 这种方法在自动驾驶汽车中很有用，因为它可以利用经过物体的反射来观察周围的物体，这可以提高它们的安全性和整体效率。

---

当一辆汽车在狭窄的城市街道上行驶时，停车车辆光滑的油漆或侧后视镜的反射可以帮助司机看到原本看不到的东西，比如一个孩子在停着的汽车后面的人行道上玩耍。

根据这个想法，麻省理工学院和莱斯大学的研究人员创造了一种利用反射来成像世界的计算机视觉技术。他们的方法是利用反射把光滑的物体变成“相机”，让使用者看到这个世界，就好像他们通过日常物品的“镜头”看一样，比如陶瓷咖啡杯或金属纸砣。

利用从不同角度拍摄的物体图像，该技术将物体表面转换为捕捉反射的虚拟传感器。人工智能系统以某种方式映射这些反射，使其能够估计场景的深度，并捕获只能从物体角度看到的新视图。人们可以使用这种技术来看到周围的角落或超越物体阻挡观察者的视线。

这种方法在自动驾驶汽车中尤其有用。例如，它可以使自动驾驶汽车利用其经过的物体(如灯柱或建筑物)的反射来观察停放的卡车周围。

“我们已经证明，任何表面都可以转换为传感器，这种公式可以将物体转换为虚拟像素和虚拟传感器。这可以应用于许多不同的领域，”Kushagra Tiwary说，他是媒体实验室摄影文化小组的研究生，也是一项研究的共同主要作者纸关于这项研究。

Tiwary和Rice大学的研究生Akshat Dave共同撰写了这篇论文;麻省理工学院研究支持助理Nikhil Behari;麻省理工学院研究生Tzofi Klinghoffer;莱斯大学电子与计算机工程教授Ashok Veeraraghavan;资深作者、麻省理工学院媒体艺术与科学副教授、摄影文化小组负责人拉梅什·拉斯卡尔。这项研究将在计算机视觉和模式识别会议上发表。

反思反思

犯罪电视节目中的英雄经常“放大和增强”监控录像，以捕捉反射——也许是那些被嫌疑人太阳镜捕捉到的反射——从而帮助他们破案。

“在现实生活中，利用这些反射并不像按一个增强按钮那么容易。从这些反射中获得有用的信息是相当困难的，因为反射给了我们一个扭曲的世界观，”戴夫说。

这种扭曲取决于物体的形状和物体所反映的世界，而研究人员对这两者的信息可能并不完全。此外，有光泽的物体可能有自己的颜色和纹理，混合反射。另外，反射是三维世界的二维投影，因此很难判断反射场景的深度。

研究人员找到了克服这些挑战的方法。他们的技术被称为ORCa(代表辐射场相机的对象)，分为三个步骤。首先，他们从许多有利位置拍摄物体的照片，捕捉光滑物体上的多重反射。

然后，对于来自真实相机的每张图像，ORCa使用机器学习将物体表面转换为虚拟传感器，以捕获物体表面上每个虚拟像素的光和反射。最后，系统利用物体表面的虚拟像素从物体的角度对三维环境进行建模。

捕捉光线

从多个角度对物体进行成像，使ORCa能够捕获多视点反射，除了估计光滑物体的形状外，该系统还利用这些反射来估计场景中光滑物体与其他物体之间的深度。ORCa将场景建模为5D辐射场，它捕获了从场景中每个点发出并击中的光线的强度和方向的附加信息。

5D辐射场中包含的附加信息也有助于ORCa准确估计深度。而且由于场景被表示为5D辐射场，而不是2D图像，用户可以看到隐藏的特征，否则会被角落或障碍物阻挡。

事实上，一旦ORCa捕捉到这个5D辐射场，用户可以在场景的任何地方放置一个虚拟相机，并合成相机将看到的东西，戴夫解释说。用户还可以将虚拟物体插入到环境中，或者改变物体的外观，比如从陶瓷到金属。

“从2D图像到5D环境尤其具有挑战性。你必须确保绘图工作，并且在物理上是准确的，所以它是基于光在空间中的传播方式和光与环境的相互作用。我们花了很多时间思考如何模拟一个表面，”蒂瓦里说。

准确的估计

研究人员通过将其与其他模拟反射的方法进行比较来评估他们的技术，这与ORCa执行的任务略有不同。他们的方法在从反射中分离出物体的真实颜色方面表现良好，并且在提取更精确的物体几何形状和纹理方面优于基线。

他们将系统的深度估计与场景中物体之间实际距离的模拟地面真实数据进行了比较，发现ORCa的预测是可靠的。

Dave说:“一直以来，ORCa不仅能以5D图像的形式准确地估计环境，而且为了实现这一目标，在中间步骤中，它还能很好地估计物体的形状，并将反射与物体纹理分开。”

基于这一概念验证，研究人员希望将这项技术应用于无人机成像。ORCa可以利用无人机飞过的物体的微弱反射来重建地面上的场景。他们还想增强ORCa，这样它就可以利用其他线索，比如阴影，来重建隐藏的信息，或者结合两个物体的反射来成像场景的新部分。

Raskar说:“估计镜面反射对于观察角落非常重要，这是利用场景中的微弱反射来观察角落的下一个自然步骤。”

-编辑克里斯Vavra，网络内容经理，控制工程、CFE媒体与技术、cvavra@cfemedia.com．

您是否具有本内容中提到的主题的经验和专业知识?您应该考虑为我们的CFE媒体编辑团队做出贡献，并获得您和您的公司应得的认可。点击在这里开始这个过程。