应用概述
鸟瞰图 (BEV) 是自动驾驶应用中 L2/L2+ 传感器融合系统的基本构建块之一。现代高级驾驶辅助系统 (ADAS) 和自动驾驶车辆需要全面了解车辆周围环境。传统方法为每个摄像头运行单独的感知流水线,并在推理后融合结果。这一过程会累积延迟、增加内存开销,还可能在摄像头边界处引入不一致。而 BEV 方法则在检测目标之前,先将多个摄像头的输入融合到统一的单一空间表示中,从而通过一次神经网络推理即可实现检测,总体系统成本更低。
实时 BEV 需要强大的处理能力来处理多摄像头输入、执行几何变换、运行用于目标检测的神经网络推理,并保持低延迟。TDA 处理器专为此类多摄像头工作负载而设计,配备 C7™ NPU 和实现 BEV 高性能所需的接口。
处理器 SDK 包含 FastBEV 演示,该演示开箱即用,可作为开发自定义解决方案前的初始评估步骤。该演示融合了来自 6 个摄像头的图像源,并执行并发目标检测,生成统一的“鸟瞰”视角。重要的是,这里的 BEV 感知完全基于视觉。激光雷达点云数据仅用作验证所检测目标的真值基准,而非感知流水线的实时输入。
开始评估
数据收集
适用于 L2/L2+ 应用的传感器融合 BEV 系统需要经过标定的多摄像头设置,以实现车辆周围的全面覆盖。
数据采集应覆盖各种驾驶场景,包括不同光照条件(白天、夜晚、阴影)、天气条件、道路类型、交通密度,以及存在的各种与自动驾驶相关的车辆、行人和障碍物。
激光雷达点云数据在开发和评估期间用作验证 BEV 表示中所检测目标的真值,但它并非已部署感知流水线的必需输入。如果使用激光雷达真值,摄像头帧与激光雷达扫描的同步捕获对于精确验证至关重要。
对于具有并发目标检测功能的 AI 增强型 BEV 系统,标注后的训练数据应识别车辆、行人、骑行者、车道标记、道路边界以及其他对自动驾驶功能至关重要的相关特征。
数据质量评估
摄像头标定精度对于从透视视图到 BEV 视图的转变至关重要。这依赖于两类参数:
内部参数:描述每个摄像头传感器和镜头的内部光学特性,包括焦距、主点和失真系数等。这些参数决定了世界中的 3D 点如何投影到单个摄像头的 2D 图像平面上。
外部参数:描述每个摄像头相对于共享 BEV 坐标系的位置和朝向。
两者对于从 2D 图像帧精确映射深度和空间位置都至关重要。任何一方的误差都会直接影响 BEV 表示中所检测目标的空间精度。
构建并训练模型
TI 模型库提供了经过预训练的 BEV 模型,可用于评估和部署。
开发人员也可能希望准备自己的 BEV 模型。这种情况下,可利用 edgeai-mmdetection3d,这是一个基于 mmdetection3d 构建的统一框架,用于开发、训练和评估各种 BEV 3D 检测模型。或者,高级开发人员可以选择使用自己的自定义训练环境。
无论模型是如何训练的,在部署前都必须通过 TIDL 进行编译,以在 C7™ NPU 上运行。ONNX 或 LiteRT 格式的模型可使用 edgeai-tidl-tools 进行编译,该工具将针对 TI 的深度学习加速器优化网络。
寻找符合您需求的模型
模型选择应在检测精度与延迟限制之间取得平衡。TI 模型库和基准测试工具提供了性能数据,以便根据目标硬件指导选择。
TI 的 FastBEV 演示所使用的模型采用 ResNet-18 主干 + FPN 架构,并基于开源的 Fast-BEV 模型,该模型专为能够在车载芯片上更快执行 BEV 感知而设计。该模型使用 nuScenes 数据集进行了训练和验证。
部署模型
FastBEV 演示展示了利用包含在 TDA 处理器 SDK 中的 Vision Apps 框架部署 BEV 模型的典型方式。
内核感知流水线:基于 OpenVX 的流水线集成了 6 摄像头捕获、MSC 硬件缩放、A72 预处理、C7™ NPU 上的 TIDL 推理以及 A72 后处理。
激光雷达真值集成:除内核流水线外,激光雷达点云数据并行传入,并叠加在 BEV 输出上作为空间基准。这使得开发人员能够在评估期间将所检测目标与真值进行视觉对比。
其他流水线特性:该演示还包括实时性能监测和双视图显示,可在单摄像头图像和俯视 BEV 视角中同时渲染检测到的目标。
选择适合您的器件
适用于 L2/L2+ 鸟瞰图 (BEV) 系统的器件选择取决于摄像头数量、分辨率、帧率要求以及并发 AI 处理需求。这些应用受益于 TDA4x 系列中的汽车级处理器,其具有高内存带宽、专用视觉加速器 (VPAC)、多个用于 AI 加速的 C7™ NPU 内核,并能跨内核拆分网络以优化性能。
| 产品型号 | 处理内核 | NPU 性能 | 鸟瞰图基准 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
fastbev_plus_nms_r18_f1 (256x704) 性能 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| TDA4VH-Q1 | 8 个 Arm® Cortex®-A72 + 4 个 C7™ NPU | 32 TOPS | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| TDA4VPE-Q1 | 4 个 Arm® Cortex®-A72 + 2 个 C7™ NPU | 16 TOPS | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| TDA4VL-Q1 | 2 个 Arm® Cortex®-A72 + 1 个 C7™ NPU | 8TOPS | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
FPS(帧每秒)
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
入门所需的所有硬件、软件和资源
硬件
TDA4VH-Q1
TDA4VH 是一款高性能、符合功能安全标准的片上系统 (SoC),专为高级 ADAS、自动驾驶车辆和机器人设计。它具备 32TOPS 的 AI 性能、四个 C7x DSP、八个 Arm Cortex A72 内核、专用视觉加速器以及高速网络。
J784S4XEVM
J784S4 评估模块 (EVM) 是一个用于评估 TDA4VH-Q1 SoC 的平台,这些处理器可用于整个汽车和工业市场中的视觉分析和网络应用。在多摄像头、传感器融合和高级驾驶辅助系统 (ADAS) 域控制应用中的性能尤为出色。
软件与开发工具
命令行工具
可在 TI GitHub 的 MPU 开发人员工具主页上找到命令行工具,例如用于训练的 edgeai-modelmaker 和用于自定义模型的 edgeai-tidl-tools。
PROCESSOR-SDK-J784S4
Processor SDK RTOS 可与 Processor SDK Linux 一起使用,从而在机器人、视觉以及汽车高级驾驶辅助系统 (ADAS) 中实现各种用例。
CCStudio™ Edge AI Studio
此工具包含用于训练、编译模型并将其部署到 TI 边缘 AI 处理器的工具。提供了模型选择工具,可查看热门模型的预生成基准测试结果。
支持资源
处理器 SDK 中包含的 Vision Apps 框架提供了 FastBEV 演示作为参考实现。本用户指南对运行 FastBEV 演示提供了简要概述和说明。
针对 TI 器件,开发、训练和优化鸟瞰图 3D 检测模型。
一个基于 mmdetection3d 构建的统一框架,用于开发、训练和评估各种 BEV 3D 检测模型。