L2/L2+ 高级驾驶辅助系统 (ADAS) 中的鸟瞰图 (BEV) 

通过 TI AI 加速处理器上的 BEV 网络实现高性能整车感知

阅读用户指南
L2/L2+ 高级驾驶辅助系统 (ADAS) 中的鸟瞰图 (BEV) 

应用概述

鸟瞰图 (BEV) 是自动驾驶应用中 L2/L2+ 传感器融合系统的基本构建块之一。现代高级驾驶辅助系统 (ADAS) 和自动驾驶车辆需要全面了解车辆周围环境。传统方法为每个摄像头运行单独的感知流水线,并在推理后融合结果。这一过程会累积延迟、增加内存开销,还可能在摄像头边界处引入不一致。而 BEV 方法则在检测目标之前,先将多个摄像头的输入融合到统一的单一空间表示中,从而通过一次神经网络推理即可实现检测,总体系统成本更低。  

实时 BEV 需要强大的处理能力来处理多摄像头输入、执行几何变换、运行用于目标检测的神经网络推理,并保持低延迟。TDA 处理器专为此类多摄像头工作负载而设计,配备 C7™ NPU 和实现 BEV 高性能所需的接口。

处理器 SDK 包含 FastBEV 演示,该演示开箱即用,可作为开发自定义解决方案前的初始评估步骤。该演示融合了来自 6 个摄像头的图像源,并执行并发目标检测,生成统一的“鸟瞰”视角。重要的是,这里的 BEV 感知完全基于视觉。激光雷达点云数据仅用作验证所检测目标的真值基准,而非感知流水线的实时输入。 

开始评估

数据收集

适用于 L2/L2+ 应用的传感器融合 BEV 系统需要经过标定的多摄像头设置,以实现车辆周围的全面覆盖。 

数据采集应覆盖各种驾驶场景,包括不同光照条件(白天、夜晚、阴影)、天气条件、道路类型、交通密度,以及存在的各种与自动驾驶相关的车辆、行人和障碍物。

激光雷达点云数据在开发和评估期间用作验证 BEV 表示中所检测目标的真值,但它并非已部署感知流水线的必需输入。如果使用激光雷达真值,摄像头帧与激光雷达扫描的同步捕获对于精确验证至关重要。 

对于具有并发目标检测功能的 AI 增强型 BEV 系统,标注后的训练数据应识别车辆、行人、骑行者、车道标记、道路边界以及其他对自动驾驶功能至关重要的相关特征。

数据质量评估

摄像头标定精度对于从透视视图到 BEV 视图的转变至关重要。这依赖于两类参数:

内部参数:描述每个摄像头传感器和镜头的内部光学特性,包括焦距、主点和失真系数等。这些参数决定了世界中的 3D 点如何投影到单个摄像头的 2D 图像平面上。
外部参数:描述每个摄像头相对于共享 BEV 坐标系的位置和朝向。 

两者对于从 2D 图像帧精确映射深度和空间位置都至关重要。任何一方的误差都会直接影响 BEV 表示中所检测目标的空间精度。

构建并训练模型

TI 模型库提供了经过预训练的 BEV 模型,可用于评估和部署。 

开发人员也可能希望准备自己的 BEV 模型。这种情况下,可利用 edgeai-mmdetection3d,这是一个基于 mmdetection3d 构建的统一框架,用于开发、训练和评估各种 BEV 3D 检测模型。或者,高级开发人员可以选择使用自己的自定义训练环境。 

无论模型是如何训练的,在部署前都必须通过 TIDL 进行编译,以在 C7™ NPU 上运行。ONNX 或 LiteRT 格式的模型可使用 edgeai-tidl-tools 进行编译,该工具将针对 TI 的深度学习加速器优化网络。

寻找符合您需求的模型

模型选择应在检测精度与延迟限制之间取得平衡。TI 模型库和基准测试工具提供了性能数据,以便根据目标硬件指导选择。

TI 的 FastBEV 演示所使用的模型采用 ResNet-18 主干 + FPN 架构,并基于开源的 Fast-BEV 模型,该模型专为能够在车载芯片上更快执行 BEV 感知而设计。该模型使用 nuScenes 数据集进行了训练和验证。

部署模型

FastBEV 演示展示了利用包含在 TDA 处理器 SDK 中的 Vision Apps 框架部署 BEV 模型的典型方式。 

内核感知流水线:基于 OpenVX 的流水线集成了 6 摄像头捕获、MSC 硬件缩放、A72 预处理、C7™ NPU 上的 TIDL 推理以及 A72 后处理。

激光雷达真值集成:除内核流水线外,激光雷达点云数据并行传入,并叠加在 BEV 输出上作为空间基准。这使得开发人员能够在评估期间将所检测目标与真值进行视觉对比。

其他流水线特性:该演示还包括实时性能监测和双视图显示,可在单摄像头图像和俯视 BEV 视角中同时渲染检测到的目标。 

选择适合您的器件

适用于 L2/L2+ 鸟瞰图 (BEV) 系统的器件选择取决于摄像头数量、分辨率、帧率要求以及并发 AI 处理需求。这些应用受益于 TDA4x 系列中的汽车级处理器,其具有高内存带宽、专用视觉加速器 (VPAC)、多个用于 AI 加速的 C7™ NPU 内核,并能跨内核拆分网络以优化性能。

产品型号
处理内核
NPU 性能
鸟瞰图基准
fastbev_plus_nms_r18_f1 (256x704) 性能
TDA4VH-Q1
8 个 Arm® Cortex®-A72 + 4 个 C7™ NPU
32 TOPS

51.9ms

19.3 FPS

TDA4VPE-Q1 4 个 Arm® Cortex®-A72 + 2 个 C7™ NPU 16 TOPS

61.8ms

16.2 FPS

TDA4VL-Q1 2 个 Arm® Cortex®-A72 + 1 个 C7™ NPU 8TOPS

93.1ms

10.7 FPS

FPS(帧每秒)

 

入门所需的所有硬件、软件和资源

硬件

TDA4VH-Q1
TDA4VH 是一款高性能、符合功能安全标准的片上系统 (SoC),专为高级 ADAS、自动驾驶车辆和机器人设计。它具备 32TOPS 的 AI 性能、四个 C7x DSP、八个 Arm Cortex A72 内核、专用视觉加速器以及高速网络。

J784S4XEVM
J784S4 评估模块 (EVM) 是一个用于评估 TDA4VH-Q1 SoC 的平台,这些处理器可用于整个汽车和工业市场中的视觉分析和网络应用。在多摄像头、传感器融合和高级驾驶辅助系统 (ADAS) 域控制应用中的性能尤为出色。

软件与开发工具

命令行工具
可在 TI GitHub 的 MPU 开发人员工具主页上找到命令行工具,例如用于训练的 edgeai-modelmaker 和用于自定义模型的 edgeai-tidl-tools。

PROCESSOR-SDK-J784S4
Processor SDK RTOS 可与 Processor SDK Linux 一起使用,从而在机器人、视觉以及汽车高级驾驶辅助系统 (ADAS) 中实现各种用例。

CCStudio™ Edge AI Studio
此工具包含用于训练、编译模型并将其部署到 TI 边缘 AI 处理器的工具。提供了模型选择工具,可查看热门模型的预生成基准测试结果。

支持资源

处理器 SDK 中包含的 Vision Apps 框架提供了 FastBEV 演示作为参考实现。本用户指南对运行 FastBEV 演示提供了简要概述和说明。

针对 TI 器件,开发、训练和优化鸟瞰图 3D 检测模型。

一个基于 mmdetection3d 构建的统一框架,用于开发、训练和评估各种 BEV 3D 检测模型。

工业 | 视觉

借助 AI 加速处理器和业界通用软件,以高帧率实时查找并定位特定物体和人物

工业 | 视觉

利用搭载 C7™ NPU 的处理器,实时从图像中检测细颗粒障碍物与路径