工业 4.0 的目标是提高制造业生产流程的自动化程度。而工业 5.0 倡导利用人工智能实现人类与机器人之间以人为中心的协作，即协作机器人 (cobot)，以便通过提高自动化程度来优化制造流程。机器视觉是工业 4.0 和 5.0 中的一项关键技术，在边缘实时处理视觉数据对于机器视觉至关重要。机器视觉的主要用例包括：

• 数量和存在检测，其中 2D 或 3D 摄像头验证装配和包装系统中是否存在或缺失零件和原料。基于视觉的深度学习用于检测、分类和统计零件和原料。
• 视觉质量检测，在各种视觉检测中使用基于 2D 或 3D 视觉的深度学习技术，例如检测缺陷或识别印刷电路板 (PCB) 上的字符、测量器件尺寸、验证器件是否正确组装以及标签是否正确地包裹在容器表面、检测工具磨损缺陷以进行预防性维护，以及太阳能电池板、涡轮机、管道等基于 UAV 或无人机的故障检测系统。
• 视觉引导机器人，例如，机械臂拾取和放置零件或箱子是利用机器视觉来实现人与协作机器人之间更好协作的另一个用例。使用安装在机械臂上的摄像头，估算要拾取的物体的姿态，并计算机械臂的适宜路径。
• 基于摄像头的条形码读取系统在电子商务物流市场上越来越受欢迎。由于许多客户在网上购物时要求在 1 到 2 天或更短时间内发货，因此物流市场已广泛采用基于摄像头的条形码读取系统来提高包裹处理吞吐量，并因而缩短平均配送时间。在条形码读取系统中，包裹放置在快速移动的条码扫描通道上，基于摄像头的条形码读取器安装在通道的上方、左侧和右侧，以高帧速率读取包裹上的 2D 或 3D 条形码。在条形码读取系统中，因为读取条形码失败会导致需要手动处理，所以保证非常成功的条形码读取率很重要。对于未读取条形码的包裹，操作员手动键入信息，并用新条形码替换损坏的条形码。人工干预会增加人工成本并降低效率，从而导致吞吐量降低。为了提高条形码读取的成功率，基于摄像头的条形码读取器使用 AI 来定位条形码，并筛选出损坏或采集不良的条形码。

图 3-2 AM69A 上的机器视觉数据流方框图

图 3-2 展示了 AM69A 上机器视觉用例示例的数据流，其中涉及通过 MIPI CSI-2 RX 端口以 30fps 的速率采集三个 8MP 图像序列。通过 VPAC3 VISS 对采集的原始 Bayer 图像进行处理并去马赛克，转换成 YUV 格式，并且 VPAC3 LDC 可校正存在的任何镜头失真。在这个机器视觉用例中，将深度学习网络应用于使用 A72 内核提取的感兴趣区域 (ROI)。ROI 的数量及其大小因具体用例而异。应用深度学习网络的帧速率也取决于用例。通过深度学习预处理、MMA 上的深度学习网络和深度学习后处理获得的输出通过 DSS 显示。如果检测出任何异常，可以通过激活警报来引起人们的注意。

表 3-2 显示了对三个 8MP 摄像头进行采集时，AM69A 的资源利用率和估算功耗信息。在该表格中，假设单个 MMA 完全用于一个 8MP 摄像头，不过实际的 MMA 利用率取决于具体的应用。CSI-2、VPAC、A72 和 DDR 带宽仍有足够的空间来处理更高的分辨率。因此，只要 MMA 能够以增加功率为代价来处理必要的深度学习推理，AM69A 就可以实现具有更高分辨率摄像头（例如，12MP）的机器视觉用例。