ZHCADU3A February   2024  – November 2024 AM62A1-Q1 , AM62A3 , AM62A3-Q1 , AM62A7 , AM62A7-Q1 , AM62P , AM62P-Q1 , DS90UB953A-Q1 , DS90UB960-Q1 , TDES960 , TSER953

 

  1.   1
  2.   摘要
  3.   商标
  4. 1引言
  5. 2将多个 CSI-2 摄像头连接到 SoC
    1. 2.1 使用 SerDes 的 CSI-2 聚合器
    2. 2.2 不使用 SerDes 的 CSI-2 聚合器
    3. 2.3 支持的摄像头数据吞吐量
  6. 3在软件中启用多个摄像头
    1. 3.1 摄像头子系统软件架构
    2. 3.2 图像流水线软件架构
  7. 4参考设计
    1. 4.1 支持的摄像头
    2. 4.2 设置四个 IMX219 摄像头
    3. 4.3 配置摄像头和 CSI-2 RX 接口
    4. 4.4 从四个摄像头进行流式传输
      1. 4.4.1 将摄像头数据流化传输到显示器
      2. 4.4.2 通过以太网流式传输摄像头数据
      3. 4.4.3 将摄像头数据存储到文件
    5. 4.5 多摄像头深度学习推理
      1. 4.5.1 模型选择
      2. 4.5.2 流水线设置
  8. 5性能分析
  9. 6结语
  10. 7参考资料
  11. 8修订历史记录

3.2 图像流水线软件架构

AM6x Linux SDK 提供了 GStreamer (GST) 框架，该框架可用于用户空间，以便集成各种应用的图像处理组件。SoC 上的硬件加速器 (HWA)，例如视觉预处理加速器 (VPAC) 或 ISP、视频编码器和解码器以及深度学习计算引擎，可通过 GST 插件进行访问。VPAC (ISP) 具有多个模块，包括视觉成像子系统 (VISS)、镜头失真校正 (LDC) 和多标量 (MSC)，每个模块对应一个 GST 插件。

图 3-2 展示了从摄像头到 AM62A 上编码或深度学习应用的典型图像流水线方框图。有关端到端数据流的更多详细信息，请参阅 EdgeAI SDK 文档。

使用 GStreamer 的典型 AM62A 图像流水线图 3-2 使用 GStreamer 的典型 AM62A 图像流水线

对于 AM62P，图像流水线更简单，因为 AM62P 上没有 ISP。

使用 GStreamer 的典型 AM62P 图像流水线图 3-3 使用 GStreamer 的典型 AM62P 图像流水线

借助为每个摄像头创建的视频节点，基于 GStreamer 的图像流水线允许同时处理多个摄像头输入。多个摄像头可以相同，也可以不同。对于 AM62A，ISP 会逐帧重新配置以处理来自每个已连接摄像头的图像。下一章将介绍使用 GStreamer 打造多摄像头应用的参考设计。