ZHCACW1 june   2023 AM69A , TDA4VH-Q1

 

  1.   1
  2.   摘要
  3.   商标
  4. 1引言
  5. 2AM69 处理器
  6. 3运行在 AM69A 上的边缘 AI 用例
    1. 3.1 AI 盒
    2. 3.2 机器视觉
    3. 3.3 多摄像头 AI
    4. 3.4 其他用例
  7. 4软件工具和支持
  8. 5结论
  9. 6参考文献

多摄像头 AI

边缘 AI 处理器的许多现有和新兴市场应用均为多摄像头 AI 用例。多摄像头 AI 类似于 AI 盒。区别在于,在多摄像头 AI 中,多个摄像头通过 MIPI CSI-2 直接连接到系统,而来自远程摄像头的编码位流则通过 AI 盒中的以太网流式传输到系统。多摄像头 AI 的用例包括但不限于以下应用:

  • 监控摄像头是比较常见的多摄像头 AI 用例之一。监控摄像头的应用包括安防、交通监控等。为了维护特定区域的安全,摄像头会对家庭、工作场所或公共场所等特定区域进行监控和录像。为了进行交通监控和管理,人们会在交叉路口、学校区域和经常拥堵的道路上安装摄像头,用于监测交通流量和事故情况。通常,监控摄像头系统连接到网络,录制的活动会进行编码并上传到云端,以便保存和远程查看。
  • 移动 DVR 广泛用于从车辆内外安装的摄像头录制视频录像,对于车内监控、防盗和发生事故时的取证非常有用。虽然移动 DVR 与监控摄像头系统非常相似,但移动 DVR 将录制的视频片段保存在本地存储设备中,例如安全数字 (SD) 卡或固态硬盘 (SSD)。
GUID-20230517-SS0I-VKPZ-VQPB-2J58LD8Z54JM-low.svg图 3-3 AM69A 上的多摄像头 AI 数据流方框图

图 3-3 展示了 AM69A 上的多摄像头 AI 用例示例的数据流。在此示例中,使用两个 MIPI CSI-2 聚合器将八个 2MP 摄像头组合在一起,并通过两个 MIPI CSI-2 RX 端口以 30fps 的速率采集,这是与 AI 盒的主要区别。经过 ISP(图像信号处理器)、去马赛克和镜头失真校正的图像通过 MSC 缩减为较小的分辨率。通过深度学习预处理、MMA 上的深度学习网络和深度学习后处理获得的输出由硬件加速的 H.264 或 H.265 编码器进行编码,然后流式传输或保存到存储中。表 3-3 显示了多摄像头 AI 用例(带有八个 2MP 摄像头通道)的资源利用率和估算功耗。

表 3-3 多摄像头 AI 用例的 AM69A 资源利用率和功耗估算
主 IP 利用率 (8 × 2MP (30fps))
2 × CSI-2 RX 8 × 2MP (30fps) = 7.68Gbps (26%)
VPAC(VISS、MSC、LDC) 8 × 2MP (30fps) = 480MP/s (40%)
MMA 24TOPS (75%)
编码器 8 × 2MP (30fps) = 480MP/s (55%)
8 × A72 深度学习预处理和后处理等 (50%)
DDR 带宽 15.13GBps (22%)
功耗 (85°C) 20W