ZHCACO4 may   2023 AM62A3 , AM62A3-Q1 , AM62A7 , AM62A7-Q1 , AM68A , AM69A

 

  1.   1
  2.   摘要
  3.   商标
  4. 1引言
    1. 1.1 目标读者
    2. 1.2 主机信息
  5. 2创建数据集
    1. 2.1 收集图像
    2. 2.2 标记图像
    3. 2.3 增强数据集(可选)
  6. 3选择模型
  7. 4训练模型
    1. 4.1 输入优化(可选)
  8. 5编译模型
  9. 6使用模型
  10. 7构建最终应用
    1. 7.1 使用 TI 的 Gstreamer 插件优化应用
    2. 7.2 使用原始 MIPI-CSI2 摄像头
  11. 8总结
  12. 9参考文献

选择模型

模型选择可以与数据集创建同时进行。要使 TI 的 C7xMMA 深度学习加速器发挥出色性能,必须在 C7xMMA 上支持网络中的每一层。不受支持的层仍然可以工作,但可能需要 CPU 资源才能运行这些层,这会降低性能。

TI Model Zoo 中的模型都包含受支持的层。TI 使用许多业界通用的先进架构。在某些情况下,这些架构经过细微修改,更加易于加速;这些模型被称为“lite”或“ti-lite”模型。请注意,在撰写本文时,AM62A 上不支持某些原本受支持的层(例如指数线性单元,即 ELU),因为 AM62A 最近刚刚推出。这意味着 AM62A 尚不支持 model-zoo 中的某些模型进行加速。

TI 的 Edge AI Cloud“模型分析器”是一款用于选择模型的有用工具。这提供了模型性能的视图,以便开发人员可以根据性能(例如,推理速度、内存使用情况)和准确性(在 COCO 等标准数据集上)等指标来选择模型或架构。模型的性能与训练模型时使用的数据集无关,但模型的准确性与训练模型时使用的数据集有关。在比较不同模型的准确性时,开发人员应确保仅比较使用同一数据集进行训练的模型之间的准确性。

对于为零售扫描仪演示而构建的食品识别模型,选择了 mobilenetv2SSD。TI 的 Model Zoo 中有一个经过预先训练的模型,可用作迁移学习的起点。在 TI 工具中,此初始模型的名称为“od-8020_onnxrt_coco_edgeai-mmdet_ssd_mobilenetv2_lite_512x512_20201214_model_onnx”。模型名称中包含大量信息:

  • od:对象检测神经网络
  • “8020”:用于区分模型的唯一编号,以便在使用多个模型时更快地查阅。
  • onnxrt:ONNX 运行时是用于此模型的运行时/API
  • coco:最初的版本使用 COCO 数据集进行训练,该数据集包含 80 多种日常对象,如人、汽车、香蕉 (!)、家用电器等。
  • edgeai-mmdet:训练框架是 edgeai-mmdet,它是 TI 在 OpenMMLab 中的 mmdetection 开源工具的分支
  • ssd:该网络的 head 或任务特定部分(用于对象检测)是 SSD,即单次检测。
  • mobilenetv2:模型架构使用 MobilenetV2 在该模型中的初始层集中进行特征提取。用机器学习的行话来说,这是网络的主干
  • lite:该模型在原始架构的基础上进行了细微修改,对 TI 的 C7xMMA 架构更加友好
  • 512x512:输入图像分辨率为 512x512
  • 2020214:该模型最初使用数据集 (COCO) 进行训练的时间。并非所有型号名称都包含日期字符串