ZHCAF23A February   2025  – March 2025 AM62A3 , AM62A3-Q1 , AM62A7 , AM62A7-Q1 , AM67A , TDA4AEN-Q1

 

  1.   1
  2.   摘要
  3.   商标
  4. 1简介
  5. 2构建 RGB-IR 视觉流水线模块
    1. 2.1 CSI 接收器
    2. 2.2 图像信号处理器
    3. 2.3 视频处理单元
    4. 2.4 德州仪器 (TI) 深度学习加速技术
    5. 2.5 GStreamer 与 TIOVX 框架
  6. 3性能注意事项与基准测试工具
  7. 4参考设计
    1. 4.1 摄像头模块
    2. 4.2 传感器驱动程序
    3. 4.3 CSI-2 Rx 驱动程序
    4. 4.4 图像处理
    5. 4.5 适用于驾驶员与乘员监控的深度学习
    6. 4.6 参考代码与应用
  8. 5应用示例与基准测试
    1. 5.1 应用 1:利用 GST 进行单数据流采集与可视化
    2. 5.2 应用 2:利用 GST 与 TIOVX 框架进行双流采集与可视化
    3. 5.3 应用 3:GStreamerr 的代表性 OMS-DMS + 视频电话流水线
  9. 6总结
  10. 7参考资料
  11. 8修订历史记录

CSI-2 Rx 驱动程序

符合 V4L2 标准的 CSI-2 Rx 驱动程序(包含在处理器 SDK 中)能够接收来自传感器的图像数据,并根据虚拟通道编号区分 RGB 主导流与 IR 主导流。然后,驱动程序能够利用专用 DMA 上下文,将每个数据流存储到 DDR 中。在用户空间创建两个视频设备节点,这样,应用程序能够分别检索 RGB 主导的图像数据与 IR 主导的图像数据。对于从传感器到视频设备节点的数据流,可通过 V4L2 框架,建模为媒体设备拓扑结构。该拓扑结构可通过 media-ctl --print 命令以文本形式显示,也可以利用 Linux dot 工具进行可视化。

图 4-2 显示了文本中基于 SDK 10.1 的媒体设备拓扑结构。该拓扑结构包含从传感器 (ox05b 4-0036) 到 CSI-2 Rx (cdns_csi2rx.30101000.csi-bridge),再到 DMA 包装器 (30102000.ticsi2rx) 的两个数据流。DMA 包装器利用两个 DMA 上下文,将图像数据传输到 DDR,每个上下文均可链接一个设备节点(/dev/video3 与 /dev/video4)。然后,用户空间应用可通过该等两个设备节点,访问原始图像数据。

 文本中的媒体设备拓扑图 4-2 文本中的媒体设备拓扑

也可以利用 Linux dot 实用程序,对媒体设备拓扑结构进行可视化。在 EVM 上运行以下命令,以便生成 dot 文件:

root@am62axx-evm:~# media-ctl --print-dot > media.dot

然后,在 Linux PC 上运行以下命令,以便生成 png 图像文件,如下图所示。

$ dot -Tpng media-top.dot -o media-top.png
 媒体设备拓扑结构可视化图 4-3 媒体设备拓扑结构可视化

SDK 中的 OX05B1S 驱动程序能够将传感器配置为通过虚拟通道 0 传输 IR 主导数据,通过虚拟通道 1 传输 RGB 主导数据。DMA 上下文 0 用于存储虚拟通道 0 的数据。因此,CSI2 Rx 驱动程序创建的第一个视频设备节点(上例中的 /dev/video3)可用于接收 IR 主导数据。同样,第二个设备节点(上例中的 /dev/video4)可用于接收 RGB 主导数据。