ZHCSRW1E February 2023 – November 2025 AM69 , AM69A
PRODUCTION DATA
深度和运动感知加速器 (DMPAC) 是一种高能效的硬件加速器,可根据摄像头输入计算密集立体深度图(深度)和密集光流矢量(运动)。
基于图像/视频传感器的环境感知(也称为“场景理解”)是汽车、工业和消费电子领域许多新兴应用的核心。通常情况下,这涉及通过分析一个或多个相关输入视频流,检测场景中的所有物体及其相对于观察者或汽车的 3D 位置和运动。为执行这些任务,需使用各种计算机视觉算法。
从图像中获取 3D 深度的一种非常可靠的方法是在立体环境中使用两个摄像头,这两个摄像头具有已知的相对位置和摄像头参数。通过分析从两个不同的摄像头方位/视角捕获的同一场景的两幅图像,即可找出图像中每个像素位置之间的差异。这称为立体视差图。根据每个像素的视差值,可以通过三角测量算法获取其所属物体/空间的 3D 位置。
另一方面,通过分析单个摄像头在两个不同时间实例(即视频中的两个时间帧)捕获的两个图像,可以确定过去帧中的每个像素在未来帧中移动到的位置。这称为光流矢量。每个像素位置的光流矢量可用于获取场景的 3D 结构、识别移动物体并确定其相对运动速度和方向。
DMPAC 专用于上述图像处理任务。立体和光流处理分为两个顶级子块:密集光流 (DOF) 引擎和立体视差引擎 (SDE)。DOF 和 SDE 块共享一个通用的共享本地存储器、DMA、外部消息传递和控制基础结构。
有关更多信息,请参阅器件 TRM 的处理器和加速器 一章中的深度和运动感知加速器 (DMPAC) 一节。