4 驾驶员和乘客后视镜系统数据流

图 4-1 展示了处理驾驶员和乘客监控系统的 5MP 60fps RGB-IR 传感器的完整数据流。

通过 CSI2-RX 接收 RGB-IR 数据后，这些数据被馈送到新开发的 RGB-IR 预处理硬件（已集成到 AM62A 中）。该预处理硬件对 RGB 和 IR 分量进行实时分离。输出可以是每秒 30 帧的交替式 RGB Bayer 数据和 IR 数据（对应于白天模式），也可以是每秒 60 帧的 IR 数据（对应于夜间模式）。

接收到的 5MP@30fps Bayer 数据由 VPAC 内的视觉成像子系统 (VISS) 模块进行处理。VISS 模块会生成 RGB 数据或 YUV 数据，具体取决于所需的图像数据格式。这种选择需要考虑诸如总体存储器带宽要求、图像质量注意事项或输入格式与后续图像处理模块的兼容性等因素。在此特定示例中，使用了 NV12 格式。

然后，使用多标量 (MSC) 模块将 VISS 模块的输出按比例缩小至进行视频流式传输或录制所需的图像分辨率。多标量模块能够在一次过程中生成多个金字塔缩放。为了校正因驾驶员监控系统 (DMS) 或乘客监控系统 (OMS) 中使用的广角镜头而导致的任何镜头失真，按比例缩小的图像由镜头失真校正 (LDC) 模块进行处理。

为了实现视频流传输，应使用 H.264/265 视频编码和解码硬件将 2MP@30fps 视频流编码为相应的 H.264/265 格式。然后，可以通过以太网传输这一经过处理的视频流。

从传感器获取的 IR 数据主要用于驾驶员的注视跟踪（眼睑和注视）和头部跟踪。检测眼睑张开和闭合需要至少 30fps 的处理速率，这是疲劳检测所需的一个关键统计数据。无论是经典的计算机视觉技术还是深度学习分析方法，均可用于检测眼睛和眼睛周围的关键点。经典的计算机视觉算法可以在 Arm Cortex-A53 内核上实现，而基于卷积神经网络的深度学习方法可以在 C7/MMA 上实现。DMS 任务通常需要以至少 30fps 的速率处理，而 OMS 任务只需以 1fps - 5fps 的速率执行

AM62A 是一款异构处理器，支持专用于运行 DMS/OMS 算法的不同计算内核。C7x/MMA 是一款新型硬件深度学习引擎，能够提供高达 2 万亿次每秒运算 (TOPS) 的计算能力。这款深度学习引擎经过优化可实现低功耗，可在后视镜等紧凑型外壳内实现高性能分析，而无需额外的冷却机制。

此外，添加的 Cortex-A53 内核可作为额外的硬件资源来运行 DMS 算法，这些算法已在 DMS 产品中的 AM62x 器件上得到验证和证实。当需要额外的信号处理功能时，除了 C7x/MMA 深度学习加速器之外，该附加内核还可提供补充性能。