iPhone手机采用的3D 摄像头采用的是红外 3D 结构光方案,包含「红外光源+光学组件+红外传感器」等部分,其中最关键的部分就是红外光源。早期 3D 传感系统一般都使用 LED 作为红外光源,但是随着 VCSEL 芯片技术的成熟,在精确度、小型化、低功耗、可靠性等角度全方面占优,因而现在常见的 3D 摄像头系统一般都采用 VCSEL 作为红外光源。

3D视觉测量原理

要谈3D视觉应用方案,就必须先弄清楚光学测量分类以及其原理。光学测量分为主动测距法和被动测距法。

主动测距方法的基本思想是利用特定的、人为控制光源和声源对物体目标进行照射,根据物体表面的反射特性及光学、声学特性来获取目标的三维信息。其特点是具有较高的测距精度、抗干扰能力和实时性,具有代表性的主动测距方法有结构光法、飞行时间法、和三角测距法。

测距方法

1. 主动测距法

(1)结构光法

根据投影光束形态的不同,结构光法又可分为光点式结构光法、光条式结构光法和光面式结构光法等。

目前应用中较广,且在深度测量中具有明显优势的方法是面结构光测量法。面结构光测量将各种模式的面结构投影到被测物体上,例如将分布较密集的均匀光栅投影到被测物体上面,由于被测物体表面凹凸不平,具有不同的深度,所以表面反射回来的光栅条纹会随着表面不同的深度发生畸变,这个过程可以看作是由物体表面的深度信息对光栅的条纹进行调制。所以被测物体的表面信息也就被调制在反射回来的光栅之中。通过被测物体反射回来的光栅与参考光栅之间的几何关系,分析得到每一个被测点之间的高度差和深度信息。

结构光的优点是计算简单,测量精度较高,对于平坦的、无明显纹理和形状变化的表面区域都可进行精密的测量。其缺点是对设备和外界光线要求高,造价昂贵。目前,结构光法主要应用在条件良好的室内。

结构光测量

(2)飞行时间法(ToF)

飞行时间(Time of Flight,简称ToF)法,又叫做激光雷达(LiDAR)测距法。它将脉冲激光信号投射到物体表面,反射信号沿几乎相同路径反向传至接收器,利用发射和接收脉冲激光信号的时间差可实现被测量表面每个像素的距离测量。

飞行时间(ToF)深度测量法的原理示意图

ToF直接利用光传播特性,不需要进行灰度图像的获取与分析,因此距离的获取不受物体表面性质的影响,可快速准确地获取景物表面完整的三维信息。缺点则是需要较复杂的光电设备,价格偏贵。

激光雷达(LiDAR)测距法

(3)三角测距法

三角测距法又称主动三角法,是基于光学三角原理,根据光源、物体和检测器三者之间的几何成像关系来确定空间物体各点的三维坐标。在实际测量过程中,它常用激光作为光源,用CCD相机作为检测器。这种方式主要用于工业勘探、工件表面粗糙度检测、轮胎检测、飞机检测等工业、航空、军事领域,在消费电子类产品还不曾涉及。

激光三角法测量系统

2. 被动测距法

被动测距技术不需要人为地设置辐射源,只利用场景在自然光照下的二维图像来重建景物的三维信息,具有适应性强、实现手段灵活、造价低的优点。但是这种方法是用低维信号来计算高维信号的,所以其使用的算法复杂。被动测距按照使用的视觉传感器数量可分为单目视觉、双目立体视觉和多目视觉三大类。

(1)单目视觉

单目视觉是指仅利用一台照相机拍摄一张相片来进行测量。因仅需要一台相机,所以该方法的优点是结构简单、相机标定容易,同时还避免了立体视觉的小视场问题和匹配困难问题。

单目视觉方法又可分聚焦法和离焦法两类。聚焦法是指首先使相机相对于被测点处于聚焦位置,然后根据透镜成像公式求得被测点相对于相机的距离。相机偏离聚焦位置会带来测量误差,因此寻求精确的聚焦位置是关键所在。而离焦法不要求相机相对于被测点处于聚焦位置,而是根据标定出的离焦模型计算被测点相对于相机的距离,这样就避免了由于寻求精确的聚焦位置而降低测量效率的问题,但离焦模型的准确标定是该方法的主要难点。

单目视觉测量示意图

(2)双目立体视觉

双目立体视觉的基本原理是从两个视点观察同一景物,以获取在不同视角下的感知图像,然后通过三角测量原理计算图像像素间的位置偏差(视差)来获取景物的三维信息。这一过程与人类视觉感知过程是类似的。

在双目立体视觉系统的硬件结构中,通常采用两个摄像机作为视觉信号的采集设备,通过双输入通道图像采集卡与计算机连接,把摄像机采集到的模拟信号经过采样、滤波、强化、模数转换,最终向计算机提供图像数据。一个完整的双目立体视觉系统通常可分为数字图像采集、相机标定、图像预处理与特征提取、图像校正、立体匹配、三维重建六大部分。

双目立体视觉测量示意图

(3)多目立体视觉

多目立体视觉系统是对双目视觉系统的一种拓展。所谓多目立体视觉系统,就是采用多个摄像机设置于多个视点,或者由一个摄像机从多个视点观测三维景物的视觉系统。

多目视觉测量示意图


依据获取图画信息办法的不同,光电3D印象技能分为有源和无源两种技能,无源技能首要是承受物体的辐射或许环境的发射,有源技能是经过投射一束调制的或未调制的光到物体上经过检测物体反射的光来构成3D图画。

曾经大多数技能研讨会集在无源3D技能上,使用三角测量原理,经过两台相距一定距离的照相机,左面照相机发生的图画表示深度信息,右边照相机发生差异的二维图画。关键是发生深度信息的照相机需求分离出深度信息。无源3D印象技能需求摄影的物体具有突出的概括特色,比方边际、角、线等。其长处是不需求特别的硬件条件,并成功使用在好几个方面。这种技能的缺陷是需求两台或许更多的高质量的照相机、图画处理软件。图画质量、摄影速度、数据传输等都是这种机制能否被广泛使用的限制因素。

有源3D光电图画办法是投射一束有规律的空间分布的线状光到物体上从而发生一个网状格的深度。广泛使用的有源光办法是飞行时刻(time off light)办法,最近几年,市场上出现的3D照相机都是依据飞行时刻办法,这些3D照相机首要使用于工业控制。SwissRanger3000照相机是最近使用这种技能的产品,经过飞行时刻办法检测相位来完结3D印象。一束几十兆赫兹被调制的近红外光照射到物体上,物体反射的光进入3D照相机,由于立体物体的远近距 离不同,反射光的相位存在一个延迟,经过检测原始光束以及反射光束的相位延迟从而检测出物体的景深,从而完结3D图画。这种3D图画传感器的制作由ZMD公司完结,ZMD公司依据3D图画传感器需求高速的特色从噪声和速度进行工艺优化,呼应速度可以到100MHz以上。

不管是多个照相机构成的3D无源印象技能,还是以飞行时刻方为原理的有源3D印象技能,整个体系的价格都很高、功耗大、需求复杂的校正软件。在有源3D印象技能中可以获得高精度的3D图画,可是要求传感器的工作呼应速度很高,在现有技能情况下,不得不下降图画的分辨率。目前研讨3D印象技能首要会集在依据CCD或许CMOS图画传感器的3D完结办法、图画处理和显现的研讨,真实开展视觉传感器研讨的很少。

一种新的3D视觉图画传感器技能,可以单芯片完结3D摄影的功用,一起可以输出2D的印象,并输出高分辨率的3D图画。这种图画传感器技能并不需求额定的有源光照,经过电子快门控制曝光时刻,获得高速的视频图画,经过自动对焦处理,构成景深印象。这种3D传感器技能很适合于低价格、小型化的视觉使用体系,比方手机等多媒体使用。

该体系由两部分构成,3DCMOS图画传感器以及可变焦的液体镜头两部分构成,其间3DCMOS图画传感器集成光电转变电路、低噪声读出电路、噪声抑制电路、可编程扩大电路、模数转换器电路、曝光控制电路、坏像素纠正电路、彩色空间转换电路、自动白平衡电路以及多媒体图画信号处理电路等功用。