ZHCY167A July   2016  – July 2020 TDA2E , TDA2EG-17 , TDA2HF , TDA2HG , TDA2HV , TDA2LF , TDA2P-ABZ , TDA2P-ACD , TDA2SA , TDA2SG , TDA2SX , TDA3LA , TDA3LX , TDA3MA , TDA3MD , TDA3MV

 

  1. 1
  2. 需要哪种摄像机?
  3. 单眼摄像机如何根据 2D 数据测量物体的距离呢?
  4. 立体视觉系统如何根据 2D 平面数据计算物体的距离呢?
  5. 立体视差计算和所计算距离的准确性
  6. 立体摄像机 ADAS 系统的范围
  7. 过程
  8. 视差计算的计算要求和内存要求
  9. 计算的可靠性
  10. 10系统硬件选项和总结
  11. 11参考文献
  12. 12重要声明

单眼摄像机如何根据 2D 数据测量物体的距离呢?

通过单眼摄像机进行距离测量有两种不同的可能性。第一个可能性基于一个简单的前提:

GUID-20210426-CA0I-QX4B-VRRT-6LBZ3PTWBFFS-low.jpg图 4 图中显示了各种识别出的物体以及它们距单眼摄像机的估计距离。显然,被识别物体与汽车的距离越大,最大覆盖矩形的尺寸就越小 [3], [17]。

物体越靠近摄像机,看起来就越大,因此在帧中占据的像素区域越大。如果某个物体被识别为汽车,则可通过该物体周围绘制的最大覆盖矩形来近似计算该物体的尺寸。

此矩形的尺寸越大,则该物体离摄像机(即汽车)越近。紧急制动算法将评估帧中识别出的每个物体的距离是否比安全预定义值更近,然后根据需要启动防撞系统或驾驶员警告措施。请参阅图 4 以了解该理念的简单说明。

简单和巧妙都是此方法的优点,但是此方法也有一些缺点。任何识别出的物体只有在被“正确”预先识别后,才能评估该物体的距离。请考虑图 5 所示的场景。此图中显示了三个图形化的行人。第 1 个行人是高个子,第 2 个行人是矮个子小男孩。这两个人到摄像机的距离是相同的。图片中显示的第三个行人 (3) 离摄像机更远,也是高个子。在这里,物体检测算法将识别三个行人并在识别出的这三人周围绘制矩形。

虽然矮个子男孩(第 2 个人)比更远处的高个子(第 3 个人)更接近摄像机,但在这两人周围绘制的矩形尺寸是相等的。因此,在捕获的 2D 帧上所识别的物体尺寸(以像素为单位)并不是该物体到摄像机距离的完全可靠指标。要考虑的另一个问题是,如果在场景中一直无法识别某个物体,则无法确定该物体的距离,因为计算时并不知道该物体的尺寸(以像素为单位)。一直无法识别物体可能有多种原因,例如遮挡、光照和其他图像瑕疵。

第二种可利用单眼摄像机来计算物体距离的方法被称为“运动恢复结构 (SFM)”法。由于摄像机正在移动,因此,从理论上讲,能够将即时连续捕获的多个帧

GUID-20210426-CA0I-RQZ6-BCSS-SJ3V3R4VCX7K-low.jpg图 5 一个虚拟的信息图形显示了 3 个行人位于配备摄像机的行驶车辆的路径中。第 3 个人和第 2 个人的像素大小完全相同,但是第 2 个人比第 3 个人更接近车辆。[4]

相互比较以找出关键特征。对极几何定义了受约束的参数,这些参数决定了 3D 空间中的给定点在由移动(平移并可能旋转)的摄像机捕获的两个连续帧中能够移动到的位置。SFM 本身就是一个复杂的主题,

GUID-20210504-CA0I-JJSG-CH5B-JQ5QHC3HBTZD-low.gif图 6 基于 SFM 的距离计算的概要数据流程。稀疏光流 (OF) 也可用密集流计算(针对每个像素)代替。上面的流程假设速率为 30fps。

因此在本文中,我们将关注使用 SFM 进行距离计算的挑战,而不是 SFM 的力学和数学原理。如果读者对 SFM 的工作原理非常感兴趣,可以阅读参考文献 [5],其中进行了很好的总结。在这里只需了解 SFM 算法工作原理的大致流程(图 6)就足够了。

根据给定的数据流程,很容易理解单眼摄像机系统基于 SFM 的距离计算

表 2 基于 SFM 的距离计算面临的挑战
参数 基于 SFM 的距离计算面临的挑战
无法同时捕获图像 与立体摄像机不同,单眼摄像机不能同时捕获两个图像帧。SFM 基于时间帧运行。因此,需要“准确”捕获摄像机的运动。在汽车场景中,该信息基于车速、转向角等方面的准确数据。即时、连续的摄像机设备校准不如固定、预先校准的立体摄像机设备那么准确。由于时间的不连续性,图像中可能会出现重大的强度差异。由于时间的不连续性而在图像中出现的遮挡会使特征对应变得困难
计算要求 与密集立体流相比,密集光流的计算成本很高。稀疏的光流可能会错过两个图像中不匹配的关键特征
有噪声的图像 与同时捕获的两个图像相比,一组有先后时间序列的图像可能会违反噪声前提(亮度恒定)。需要对计算进行过度约束和过度计算以补偿噪声

所面临的挑战。请参阅表 2 以查看这些问题的列表。