ZHCAF23A February 2025 – March 2025 AM62A3 , AM62A3-Q1 , AM62A7 , AM62A7-Q1 , AM67A , TDA4AEN-Q1
4.5 适用于驾驶员与乘员监控的深度学习
从图像分析与深度学习角度来看，驾驶员监控系统 (DMS) 与乘员监控系统 (OMS) 通常是单独的处理路径。这两种情况下，通常都会使用来自 RBG-IR 摄像头的 IR 帧。这样，就能够利用非可见光，对车辆内部进行充分照明，从而在保持驾驶员夜视能力的同时实现精确监控。
因此，作为单通道灰度图像，分析相应图像。当前仅处理单通道数据而不提供三通道 RGB 数据，从而降低了处理要求与 DDR 带宽。不过，分析单通道（例如：灰度）图像意味着也要在该等数据上，训练神经网络模型，但是，典型模型是针对三通道 RGB 训练的。TIDL 完全能够处理任意数量的输入通道与分辨率。
适用于驾驶员监控的深度学习
驾驶员监控必须确定驾驶员什么时候在关注路况，什么时候没有关注路况。名义上可以理解为疲劳或分心。这两种情况下，首先要关注驾驶员的头部位置、目光以及眼睛。眼球与眼睑的运动速度非常快，因此，必须以适当帧率（通常约为 30 FPS）进行分析。地方法规标准（例如：Euro NCAP）能够改变这一要求。较简单的 DMS 系统能够仅进行头部姿态检测，但是无法处理复杂的“蜥蜴型”场景，即：驾驶员的头部朝向道路，但看向别处（例如：手机）。
DMS 的典型流程如 图 4-4 所示。请注意，有几种可行的方法与技术。例如，一些系统能够通过头部姿势检测（而非目光检测）判断驾驶员是否分心。
图 4-4 驾驶员监控图像分析流程深度学习模型能够提供有关驾驶员注意力的信息。不过，需要对各帧图像进行一定程度的后处理。例如，单帧显示闭眼可能是在眨眼，但连续数帧显示闭眼就可能是在瞌睡或微睡。同样，目光偏离车辆前方道路，可能是分心，也可能是必要的驾驶活动（例如：看向即将转弯的方向）。因此，适用于 DMS 的深度学习算法必须提供足够高的帧率，以便能够跨多帧进行该等跟踪。
适用于乘员监控的深度学习
乘员监控会收集关于车内座位乘坐情况以及安全带使用情况的信息。相较驾驶员头部位置与眼球运动，该等信息变化速率相对较慢，因此，对帧速率的要求相对较低；多数情况下，可以接受 1FPS 到 5FPS 的帧率。不过，需要关注更大的区域，通常是整个车辆内部，而并非是仅需关注驾驶员座椅。因此，必须以更高的分辨率运行相应模型，并且具有更高的处理要求。OMS 负责检查哪些座位有人、安全带是否正确使用以及发生碰撞时安全气囊如何展开。
适用于乘员监控的数据流示例如 图 4-5 所示。神经网络能够对单个图像进行多级处理，以便确定车内有多少乘员、乘员具体位置以及对安全气囊展开有何影响。
图 4-5 乘员监控图像分析流程利用 TIDL 运行多个模型
TIDL 允许同时加载多个深度学习模型。只要模型的权重与配置适合可用的持久 DDR 空间，应用程序就能够以任何顺序进行初始化并运行多个模型。无需对 TIDL 的并发调用进行特殊处理。
本报告介绍的几种模型具有不同的帧率要求与不同的复杂程度。TIDL 能够对模型进行优先级排序与抢占，以便适合该等应用。例如，具有较高帧率要求的 DMS 模型可以设置较高的运行优先级，以便确保模型可以在帧间延迟方面保持较高的运行速率。对于具有较低 FPS 要求但规模较大的 OMS 模型，可以设置较低的运行优先级，以便利用 DMS 帧间未使用的周期。开发人员需要分析模型的运行时框架延迟，确保有充足余量以所需帧率在延迟限制范围以内运行每个模型。