对导航与感知进行像素级分割，延迟降低至 1/40
利用搭载 C7™ NPU 的处理器，实时从图像中检测细颗粒障碍物与路径
应用概述
现实世界中的环境复杂多变，机器人、无人机及车辆必须安全高效地穿行其间。要理解此类环境，需详尽掌握路径与障碍物的分布情况。
AI 模型可借助语义分割神经网络模型，在像素级别识别周围环境。其他应用，如缺陷检测、医学成像及农业，同样能受益于分割模型所提供的有意义的异常区域及物体的精确轮廓。
在边缘运行此类复杂 AI 模型需要可观的算力支持，通常需借助 C7™ NPU 等硬件加速器才能实现实时决策。
开始评估
数据收集
数据样本应是使用与生产应用中型号相近的摄像机采集的图像。图像可手动采集，也可通过 Edge AI Studio 等工具采集。图像将通过勾勒目标轮廓的像素掩膜或多边形进行标注，这些轮廓可能构成复杂形状。
优质的数据集应包含多样的真实场景及待识别目标的多种组合。常见做法是设置一个通用的“背景”类别，涵盖所有无需追踪的对象。 在大多数真实场景中，目标相互重叠或部分遮挡的情况屡见不鲜，但医学成像或缺陷检测等应用可能不会遇到此类情况。为训练出稳健的模型，数据集中目标的位置、朝向以及光照、天气条件均应有丰富的变化。
数据质量评估
数据与标注应高度对齐，确保掩膜或多边形充分覆盖待识别目标。将标注叠加显示于图像之上，有助于发现覆盖不全或标注范围远超目标边界的区域。含噪声的标注会增加神经网络学习正确视觉模式的难度。
数据集增强是扩充数据集规模和增加其捕获的变化的有效手段。人工“增强”操作可对图像进行修改，生成多份副本以扩充数据集。然而，部分增强操作（如旋转与缩放图像）要求对标注本身进行同步变换。
下图展示了 Edge AI Studio 中针对 tiscapes2017 分割数据集上的数据的分割模型。该数据集同时包含目标检测边界框和分割掩膜。该工具虽同时显示两类标注，但勾勒出图中行人、标志及车辆轮廓的掩膜才是用于分割模型训练的标注形式。
构建并训练模型
CCStudio™ Edge AI Studio 和 edgeai-modelmaker 包含多款分割模型，可直接使用您的定制数据集进行训练。如果使用 edgeai-modelmaker，定制数据集需采用包含分割标注的 COCO 格式。
否则，亦可使用 Pytorch 和 Tensorflow 等工具训练成熟模型，或实现完全定制化的模型。
寻找符合您需求的模型
选择合适的模型时需在精度和延迟之间进行权衡。Deeplabv3 等模型可在 C7 NPU 上高效运行，模型选择工具中提供了代表性基准测试结果。
部署模型
模型部署要求事先针对目标硬件加速器对模型进行编译。使用 Edge AI Studio 和 edgeai-modelmaker 等工具时，编译会自动完成。否则，编译模型需要通过 TI GitHub 上的 edgeai-tidl-tools 等软件包，使用“自带模型”流程单独进行。
模型工件通过 ONNX Runtime、LiteRT 和 TVM 等运行时进行部署，使用 TI 深度学习 (TIDL) 作为硬件后端来进行加速。
要将模型部署到端到端的视觉应用中，可首先使用 edgeai-gst-apps，该工具除了能加速 AI 模型本身外，还通过多个硬件加速阶段构建处理流程，实现对图像的预处理和后处理。
选择适合您的器件
器件选择将取决于所需的 AI 性能水平和摄像机吞吐量（分辨率和帧率）。请参阅下表，了解不同器件间的性能对比。 注意：如需获取这些器件的全面基准测试数据，请使用 Edge AI Studio 中提供的模型选择工具。
下表中的基准测试数据是使用 SDK 版本 10.1 生成的，数据显示相比纯 CPU 方案，算力达 2TOPS 的 AM62A 性能提升超过 40 倍。
| 产品型号 | 处理内核 | NPU 是否可用 | 语义分割基准测试 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
DeepLabv3 分割 (512x512) 性能 |
具有 regnetx-800 主干 (512x512) 性能的 FPN Lite |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| AM62P | 4 个 Arm® | 无 NPU | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| AM62A7 | 4 个 Arm® | 2TOPS | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| TDA4VE-Q1 | 4 个 Arm® | 8TOPS | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| FPS（帧每秒） | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
入门所需的所有硬件、软件和资源
硬件
SK-AM62A-LP
AM62A 是 AM6xA 系列中成本最低的 AI 加速器件，非常适合用于评估。可使用通用 USB 摄像头或网络摄像头对实时数据进行图像采集和模型评估。
软件与开发工具
PROCESSOR-SDK-LINUX-AM62A
该边缘 AI 处理器 SDK 基于 Linux，包含运行经硬件加速的已编译模型所需的软件组件。其他经过边缘 AI 加速的处理器可以替代 AM62A。
CCStudio™ Edge AI Studio
此工具包含用于训练、编译模型并将其部署到 TI 边缘 AI 处理器的工具。提供了模型选择工具，可查看热门模型的预生成基准测试结果。
命令行工具
适用于支持 Linux 和 TIDL 的微处理器器件的工具。TI 的边缘 AI 解决方案通过提供丰富的工具集和经优化的库，简化了 DNN 开发与部署的整个产品生命周期。