为了更快、更有效地识别物体而开发的摄像头

斯坦福大学的研究人员设计了一种新型的相机系统,通过结合两种专门为图像分析设计的计算机,可以更快地对图像进行分类,同时节能。

通过安德鲁·迈尔斯,斯坦福大学 2018年9月8日

斯坦福大学的研究人员设计了一种新型的相机系统,可以在节能的同时更快地对图像进行分类。他们希望有一天它们能被制造得足够小,可以嵌入到设备本身中。

今天的自动驾驶汽车和空中无人机使用的图像识别技术,以及明天的癌症寻找机器人医疗设备,都依赖于人工智能(AI)。它们被设计用来自学识别物体,比如过街的行人、停下来的汽车或癌症肿瘤。

斯坦福大学电气工程和计算机科学助理教授戈登·韦茨斯坦(Gordon Wetzstein)指导了这项研究,他说:“你刚刚经过的那辆自动驾驶汽车的后备箱里有一台相对巨大、相对缓慢、能源密集型的计算机。”

Wetzstein和他实验室的博士生Julie Chang将两种类型的计算机结合在一起,创造了一种专门用于图像分析的光电混合计算机。

被计算消耗

研究人员的原型相机的第一层可以被认为是光学计算机。光学计算机不需要数字计算那样的耗电数学运算。第二层是传统的数字电子计算机,这种光学计算机通过物理预处理图像数据,以多种方式对其进行过滤,否则电子计算机必须以数学方式进行过滤。

由于滤光是在光通过自定义光学器件时自然发生的,因此这一层的输入功率为零。这为混合系统节省了大量的时间和能量,否则将被计算所消耗。

Chang说:“我们已经将数学外包给光学。

它就像一个相机,为同一个场景拍摄多张图像,就好像每个变化都是通过专门设计的滤镜拍摄的。这些图像是光学捕捉的,就像胶片上的照片一样。在那一瞬间捕捉到的每一张图像都必须通过电子计算进行数学提取。结果是更少的计算,更少的内存调用,以及更少的完成时间。跳过了这些预处理步骤后,剩余的分析以电子方式进行,具有相当大的优势。

Wetzstein说:“数以百万计的计算都以光速进行。”

快速决策

在速度和准确性方面,该原型可以与现有的纯电子计算处理器相媲美,这些处理器被编程来执行相同的计算,但它提供了大量的计算成本节省。虽然他们目前放置在实验室工作台上的原型很难被归类为小型,但研究人员相信,他们的系统可以大幅小型化,有朝一日可以嵌入手持摄像机或空中无人机的外形中。

在模拟和现实实验中,该团队使用他们的系统在自然图像设置中成功识别了飞机、汽车、猫、狗等。

Wetzstein说:“我们系统的未来版本将在快速决策应用中特别有用,比如自动驾驶汽车。”

Wetzstein, Chang和他们在斯坦福计算成像实验室的同事们正忙着开发他们的下一代设计。他们正在寻找让光学元件做更多预处理的方法,Wetzstein将其描述为“更有表现力”。当然,缩小规模是有工作要做的。

斯坦福大学

www.stanford.edu

-由克里斯·瓦夫拉编辑,制作编辑,控制工程, CFE传媒,cvavra@cfemedia.com.查看更多控制工程离散的视觉和传感器故事