ZHCADU3 February   2024 AM62A3 , AM62A3-Q1 , AM62A7 , AM62A7-Q1 , AM62P , AM62P-Q1 , DS90UB953A-Q1 , DS90UB960-Q1 , TDES960 , TSER953

 

  1.   1
  2.   摘要
  3.   商标
  4. 1引言
  5. 2将多个 CSI-2 摄像头连接到 SoC
    1. 2.1 使用 SerDes 的 CSI-2 聚合器
    2. 2.2 不使用 SerDes 的 CSI-2 聚合器
  6. 3在软件中启用多个摄像头
    1. 3.1 摄像头子系统软件架构
    2. 3.2 图像流水线软件架构
  7. 4参考设计
    1. 4.1 支持的摄像头
    2. 4.2 设置四个 IMX219 摄像头
    3. 4.3 配置摄像头和 CSI-2 RX 接口
    4. 4.4 从四个摄像头进行流式传输
      1. 4.4.1 将摄像头数据流化传输到显示器
      2. 4.4.2 通过以太网流式传输摄像头数据
      3. 4.4.3 将摄像头数据存储到文件
    5. 4.5 多摄像头深度学习推理
      1. 4.5.1 模型选择
      2. 4.5.2 流水线设置
  8. 5性能分析
  9. 6总结
  10. 7参考资料

3.2 图像流水线软件架构

AM6x Linux SDK 提供了 GStreamer (GST) 框架，该框架可用于用户空间，以便集成各种应用的图像处理组件。SoC 上的硬件加速器 (HWA)，例如视觉预处理加速器 (VPAC) 或 ISP、视频编码器/解码器和深度学习计算引擎，可通过 GST 插件进行访问。VPAC (ISP) 本身具有多个模块，包括视觉成像子系统 (VISS)、镜头失真校正 (LDC) 和多标量 (MSC)，每个模块对应一个 GST 插件。

图 3-2 展示了从摄像头到 AM62A 上编码或深度学习应用的典型图像流水线方框图。有关端到端数据流的更多详细信息，请参阅 EdgeAI SDK 文档。

GUID-20240205-SS0I-3SWF-C3WV-SHSVTRKBTJGC-low.svg图 3-2 使用 GStreamer 的典型 AM62A 图像流水线

对于 AM62P，图像流水线更简单，因为 AM62P 上没有 ISP。

GUID-20240205-SS0I-XJL7-XXLL-6MJ9GHXTXCSH-low.svg图 3-3 使用 GStreamer 的典型 AM62P 图像流水线

借助为每个摄像头创建的视频节点，基于 GStreamer 的图像流水线允许同时处理多个摄像头输入（通过同一 CSI-2 RX 接口连接）。下一章将介绍使用 GStreamer 打造多摄像头应用的参考设计。