ZHCAF23A February   2025  – March 2025 AM62A3 , AM62A3-Q1 , AM62A7 , AM62A7-Q1 , AM67A , TDA4AEN-Q1

 

  1.   1
  2.   摘要
  3.   商标
  4. 1简介
  5. 2构建 RGB-IR 视觉流水线模块
    1. 2.1 CSI 接收器
    2. 2.2 图像信号处理器
    3. 2.3 视频处理单元
    4. 2.4 德州仪器 (TI) 深度学习加速技术
    5. 2.5 GStreamer 与 TIOVX 框架
  6. 3性能注意事项与基准测试工具
  7. 4参考设计
    1. 4.1 摄像头模块
    2. 4.2 传感器驱动程序
    3. 4.3 CSI-2 Rx 驱动程序
    4. 4.4 图像处理
    5. 4.5 适用于驾驶员与乘员监控的深度学习
    6. 4.6 参考代码与应用
  8. 5应用示例与基准测试
    1. 5.1 应用 1:利用 GST 进行单数据流采集与可视化
    2. 5.2 应用 2:利用 GST 与 TIOVX 框架进行双流采集与可视化
    3. 5.3 应用 3:GStreamerr 的代表性 OMS-DMS + 视频电话流水线
  9. 6总结
  10. 7参考资料
  11. 8修订历史记录

性能注意事项与基准测试工具

构建视觉应用时,需要考虑以下性能指标,并且需要进行基准测试:

  • 端到端延迟:必须最大限度缩短采集图像与生成析结果之间的延迟,以便及时做出决策,采取响应措施。
  • 视频吞吐量(每秒帧数):必须以所需帧率采集与处理图像,不得出现掉帧现象。
  • CPU 负载:视觉流水线对通用 CPU 内核(对于 AM62A 则为 A53)的负载必须降至最低,因为所有图像处理都是在硬件加速器上完成的。
  • DDR 利用率:对于视觉流水线的 DDR 读取与写入操作,必须为其他系统任务留出充足带宽。
  • 硬件加速器 (HWA) 负载(ISP、VPU、C7x/MMA):HWA 专用于特定功能,不能用于其他目的。通过视觉流水线,HWA 的利用率可高达 100%,并且留有一定余量。

适用于 AM62A 的 EdgeAI SDK 提供了几种能够对该等性能指标进行基准测试的工具:

  • Perf_stats 工具 [5]:测量 CPU 内核与 HWA 上的负载以及 DDR 利用率。
  • GStreamer 调试跟踪:通过设置环境变量 GST_DEBUG_FILE,可将 GStreamer 调试信息重定向至一个文件。EdgeAI SDK 脚本(/opt/edgeai-gst-apps/scripts/gst_tracers/parse_gst_tracers.py)能够处理该等消息并估算 GStreamer 流水线每个元素的处理时间。
  • GStreamer 插件 fpsdisplaysink:以帧/秒(fps)为单位,显示流水线的吞吐量。
  • 自定义 GStreamer 插件 tiperfoverlay:在显示屏显示(或在终端控制台打印) CPU 负载、DDR 利用率、HWA 负载以及 fps。