ZHCADU3 February   2024 AM62A3 , AM62A3-Q1 , AM62A7 , AM62A7-Q1 , AM62P , AM62P-Q1 , DS90UB953A-Q1 , DS90UB960-Q1 , TDES960 , TSER953

 

  1.   1
  2.   摘要
  3.   商标
  4. 1引言
  5. 2将多个 CSI-2 摄像头连接到 SoC
    1. 2.1 使用 SerDes 的 CSI-2 聚合器
    2. 2.2 不使用 SerDes 的 CSI-2 聚合器
  6. 3在软件中启用多个摄像头
    1. 3.1 摄像头子系统软件架构
    2. 3.2 图像流水线软件架构
  7. 4参考设计
    1. 4.1 支持的摄像头
    2. 4.2 设置四个 IMX219 摄像头
    3. 4.3 配置摄像头和 CSI-2 RX 接口
    4. 4.4 从四个摄像头进行流式传输
      1. 4.4.1 将摄像头数据流化传输到显示器
      2. 4.4.2 通过以太网流式传输摄像头数据
      3. 4.4.3 将摄像头数据存储到文件
    5. 4.5 多摄像头深度学习推理
      1. 4.5.1 模型选择
      2. 4.5.2 流水线设置
  8. 5性能分析
  9. 6总结
  10. 7参考资料

引言

嵌入式摄像头在现代视觉系统中发挥着重要作用。在一个系统中使用多个摄像头可以扩展这些系统的能力,并实现单个摄像头无法实现的功能。以下是一些使用多个嵌入式摄像头的应用示例:

安全监控:有策略地布置多个摄像头可以提供全方位的监控覆盖。这样可以实现全景视图,减少盲区,并提高物体跟踪和识别的准确性,从而改善整体安全措施。

环视:使用多个摄像头可以搭建立体视觉系统,从而提供三维信息和深度估算。对于自动驾驶车辆中的障碍物检测、机器人中的精确对象操作以及增强现实体验的逼真度等任务,此功能至关重要。

车厢记录仪和摄像头后视镜系统:具有多个摄像头的车厢记录仪可以利用单个处理器提供更全面的监控。同样,具有两个或更多摄像头的摄像头后视镜系统可以扩大驾驶员的视野,消除汽车四周的盲区。

医疗成像:医疗成像应用可以使用多个摄像头执行手术导航等任务,为外科医生提供多个视角,以提高手术精度。在内窥镜检查中,利用多个摄像头可以实现对内部器官的全面检查。

无人机和航空成像:无人机通常配备多个摄像头,以便从不同的角度拍摄高分辨率图像或视频。这在航空摄影、农业监控和土地测量等应用中非常有用。

随着微处理器的进步,可将多个摄像头集成到单个片上系统 (SoC) 中,从而提供紧凑高效的解决方案。AM62Ax SoC 具有高性能视频/视觉处理和深度学习加速功能,非常适合上述用例。另一款 AM6x 器件(即 AM62P)专为高性能嵌入式 3D 显示应用而构建。AM62P 配备 3D 图形加速功能,可以轻松地将来自多个摄像头的图像拼接在一起,形成高分辨率的全景图。AM62A/AM62P SoC 的创新功能在各种出版物中都有介绍,比如 [4]、[5]、[6] 等。本应用手册将不再重复介绍这些特性说明,而是重点介绍如何将多个 CSI-2 摄像头集成到 AM62A/AM62P 上的嵌入式视觉应用中。

表 1-1 展示了 AM62A 和 AM62P 在图像处理方面的主要差异。

表 1-1 AM62A 和 AM62P 在图像处理方面的差异
SoC AM62A AM62P
支持的摄像头类型 具有或不具内置 ISP 具有内置 ISP
摄像头输出数据 原始/YUV/RGB YUV/RGB
ISP HWA
深度学习 HWA
3D 图形 HWA