ZHCAF23A February   2025  – March 2025 AM62A3 , AM62A3-Q1 , AM62A7 , AM62A7-Q1 , AM67A , TDA4AEN-Q1

 

  1.   1
  2.   摘要
  3.   商标
  4. 1简介
  5. 2构建 RGB-IR 视觉流水线模块
    1. 2.1 CSI 接收器
    2. 2.2 图像信号处理器
    3. 2.3 视频处理单元
    4. 2.4 德州仪器 (TI) 深度学习加速技术
    5. 2.5 GStreamer 与 TIOVX 框架
  6. 3性能注意事项与基准测试工具
  7. 4参考设计
    1. 4.1 摄像头模块
    2. 4.2 传感器驱动程序
    3. 4.3 CSI-2 Rx 驱动程序
    4. 4.4 图像处理
    5. 4.5 适用于驾驶员与乘员监控的深度学习
    6. 4.6 参考代码与应用
  8. 5应用示例与基准测试
    1. 5.1 应用 1:利用 GST 进行单数据流采集与可视化
    2. 5.2 应用 2:利用 GST 与 TIOVX 框架进行双流采集与可视化
    3. 5.3 应用 3:GStreamerr 的代表性 OMS-DMS + 视频电话流水线
  9. 6总结
  10. 7参考资料
  11. 8修订历史记录

应用 1:利用 GST 进行单数据流采集与可视化

这是一个从摄像机向显示器进行流式传输并且进行 RGB 数据可视化的简单示例。本示例演示了对 节 3 所列性能指标进行基准测试的具体方法。本示例的 GStreamer 流水线元件如下所示。

 利用 GStreamerr 进行 RGB 流采集与显示图 5-1 利用 GStreamerr 进行 RGB 流采集与显示

相应的 GST 命令可通过 GitHub 存储库 [6]获取。为了对性能指标进行基准测试,可以在一个终端控制台运行该命令,同时在另一个终端控制台运行 perf_stats 工具 [5]。

  • 在第一个控制台打印出流水线吞吐量 (fps),如 图 5-2 所示。与此同时,在显示屏显示吞吐量。
  • 对于 CPU 负载、HWA 负载以及 DDR 利用率,可以在第二个控制台打印,同时在显示屏显示。GST 命令运行期间,该等性能指标会不断更新。图 5-3 显示了单个更新的屏幕截图。
  • 停止 GST 流水线后,运行“/opt/edgeai-gst-apps/scripts/gst_tracers/parse_gst_tracers.py /run/trace.log”,以便生成流水线中每个元素的延迟测量值,如 图 5-4 所示。图中所示 tiovxisp0 (VISS)、tiovxldc0 (LDC) 和 tiovxmultiscaler0 (MSC) 的延迟符合预期:
    • 对于 VISS 与 LDC,延迟时间约为 5MPixel/375MHz,开销约为 14-15msec,其中,375MHz 是 ISP(VPAC) 的工作时钟频率。
    • 对于 MSC,可以同时或单独处理 YUV 数据。单独处理时(默认配置),亮度 (Y) 平面延迟约为 14-15msec,与 VISS 和 LDC 相同,而色度 (UV) 平面延迟约为亮度平面延迟的一半,即:7msec。因此,MSC 的总延迟约为 21msec。通过配置 MSC 同时处理两个平面,可以将延迟缩短至 14msec。
 单数据流采集与可视化的流水线吞吐量图 5-2 单数据流采集与可视化的流水线吞吐量
 单数据流采集与可视化的 CPU、HWA 和 DDR 负载图 5-3 单数据流采集与可视化的 CPU、HWA 和 DDR 负载
 单数据流采集与可视化的流水线元素延迟图 5-4 单数据流采集与可视化的流水线元素延迟