摄像头用激光扩大了视觉能力

斯坦福大学的研究人员开发了一种高功率激光器,可以捕捉反射的光粒子,并用相机的先进传感器和处理算法重建它们。

通过格雷戈里·黑尔 2019年9月1日

斯坦福大学(Stanford University)的研究生大卫·林德尔(David Lindell)穿上了一件高能见度的运动服,开始工作,伸展身体,踱步,在空房间里跳来跳去。通过一个远离林德尔的摄像头,他的同事们可以看到他的每一个动作。

那是因为林德尔被肉眼看不到的高能激光扫描了。他反射到周围墙壁上的单个光粒子被相机的先进传感器和处理算法捕捉和重建。

斯坦福大学电气工程助理教授戈登·韦茨斯坦(Gordon Wetzstein)说:“人们谈论建造一种能像人类一样看到东西的摄像头,用于自动驾驶汽车和机器人等应用,但我们想建造的系统远远不止于此。”“我们想要看到三维的、角落周围的、超越可见光光谱的东西。”

林德尔测试的摄像头系统建立在斯坦福团队之前开发的街角摄像头的基础上。它能够从各种各样的表面捕捉到更多的光,看得更远更远,而且速度足够快,可以第一次监测到视线之外的运动——比如林德尔的健美体操。有一天,研究人员希望超人的视觉系统能够帮助自动驾驶汽车和机器人比在人类指导下更安全地运行。

保持系统的实用性是这些研究人员的首要任务。他们选择的硬件、扫描和图像处理速度以及成像风格在自动驾驶汽车视觉系统中已经很常见了。以前用于观察相机视线之外的场景的系统依赖于均匀或强烈反射光的物体。但现实世界中的物体,包括闪亮的汽车,不属于这些类别,所以这个系统可以处理从一系列表面反射的光,包括迪斯科球、书籍和纹理复杂的雕像。

大功率激光器研制成功

他们进步的核心是一种比一年前使用的激光强一万倍的激光。激光扫描感兴趣的场景对面的一堵墙,光线从墙上反弹,击中场景中的物体,反弹回墙壁和摄像机传感器。当激光到达相机时,只剩下一些斑点,但传感器捕捉到每一个斑点,并将其发送到一个同样由该团队开发的高效算法,该算法可以解开这些光的回声,以破译隐藏的场景。

“当你看着激光扫描它的时候,你什么都看不到,”林德尔说。“有了这个硬件,我们基本上可以减慢时间,揭示这些光的轨迹。它看起来就像魔法一样。”

系统扫描速度为每秒4帧(FPS)。它可以在计算机上用图形处理单元(GPU)以60帧/秒的速度重建场景,增强了图形处理能力。

为了改进他们的算法,该团队从其他领域寻找灵感。研究人员特别被地震成像系统所吸引,该系统从地球地下层反射声波,以了解地表下的情况,并重新配置了他们的算法,同样地将反射光解释为隐藏物体发出的波。结果是,他们在看到包含各种材料的大型场景的能力得到提高的同时,内存使用率也同样高、低。

卡内基梅隆大学(CMU)的助理教授马修·奥图尔(Matthew O 'Toole)说:“在其他领域,有许多想法正在被使用,比如地震学、卫星成像、合成孔径雷达,这些想法都适用于观察周围的角落。”奥图尔此前是Wetzstein实验室的博士后研究员。“我们正试图从这些领域中获得一些东西,希望在某个时候能够回报他们。”

展望未来

对于这个团队来说,能够看到从拐角反弹的不可见光线的实时运动是一个激动人心的时刻,但用于自动驾驶汽车或机器人的实用系统还需要进一步的改进。

“这是非常不起眼的步骤。这款机芯看起来分辨率仍然很低,速度也不是特别快,但与去年最先进的机芯相比,已经有了很大的进步。”“当我们第一次看到这些结果时,我们被震惊了,因为我们捕捉到了以前没有人见过的数据。”

该团队希望在自动驾驶研究车上测试他们的系统,同时研究其他可能的应用,比如可以透视组织的医学成像。除了在速度和分辨率方面的其他改进外,他们还将致力于使他们的系统更加通用,以应对司机遇到的具有挑战性的视觉条件,如雾、雨、沙尘暴和雪。

本内容最初出现在ISSSource.com。ISSSource是CFE Media的内容合作伙伴。由CFE媒体制作编辑克里斯·瓦夫拉编辑,cvavra@cfemedia.com

原始内容可以在isssource.com


作者简介:格雷戈里·黑尔是工业安全和安保来源(ISSSource.com)的编辑和创始人,这是一个涵盖制造业自动化领域安全和安保问题的新闻和信息网站。