ZHCADU3 February   2024 AM62A3 , AM62A3-Q1 , AM62A7 , AM62A7-Q1 , AM62P , AM62P-Q1 , DS90UB953A-Q1 , DS90UB960-Q1 , TDES960 , TSER953

 

  1.   1
  2.   摘要
  3.   商标
  4. 1引言
  5. 2将多个 CSI-2 摄像头连接到 SoC
    1. 2.1 使用 SerDes 的 CSI-2 聚合器
    2. 2.2 不使用 SerDes 的 CSI-2 聚合器
  6. 3在软件中启用多个摄像头
    1. 3.1 摄像头子系统软件架构
    2. 3.2 图像流水线软件架构
  7. 4参考设计
    1. 4.1 支持的摄像头
    2. 4.2 设置四个 IMX219 摄像头
    3. 4.3 配置摄像头和 CSI-2 RX 接口
    4. 4.4 从四个摄像头进行流式传输
      1. 4.4.1 将摄像头数据流化传输到显示器
      2. 4.4.2 通过以太网流式传输摄像头数据
      3. 4.4.3 将摄像头数据存储到文件
    5. 4.5 多摄像头深度学习推理
      1. 4.5.1 模型选择
      2. 4.5.2 流水线设置
  8. 5性能分析
  9. 6总结
  10. 7参考资料

4.5.1 模型选择

TI 的 EdgeAI-ModelZoo 提供了数百个先进的模型，这些模型从其原始训练框架转换/导出为嵌入式适用格式，因此可卸载到 C7x-MMA 深度学习加速器。基于云的 Edge AI Studio 模型分析器 提供了一款易于使用的“模型选择”工具。它会进行动态更新以包含 TI EdgeAI-ModelZoo 支持的所有模型。该工具无需任何经验，并提供了一个易于使用的界面，用于输入期望模型中所需的特性。

为这个多摄像头深度学习实验选择了 TFL-OD-2000-ssd-mobV1-coco-mlperf。该多物体检测模型是在 Tensor Flow 框架中开发的，输入分辨率为 300x300。表 4-1 展示了在含有大约 80 个不同类的 COCO 数据集上进行训练时该模型的重要功能。

表 4-1 TFL-OD-2000-ssd-mobV1-coco-mlperf 模型的重要特性。
模型任务分辨率FPSmAP 在 COCO 上的精度达 50%延迟/帧 (ms)DDR 带宽利用率（MB/帧）
TFL-OD-2000-ssd-mobV1-coco-mlperf多物体检测300x300~15215.96.518.839