工厂自动化中的视觉缺陷检测

训练数据将是与产线所用摄像机高度匹配的摄像机所采集的图像。光照条件应与工厂环境保持一致，包括环形光源等任何辅助照明设备。摄像机镜头同样会影响图像质量，因此应与最终系统中使用的镜头（若有多种选择，则为多个镜头）保持一致。

数据集的真值标注可采用以下形式：包围缺陷部位的边界框（适用于螺钉等简单小型器件），隔离显示缺陷的特定区域像素的图像掩膜（适用于 PCB 等大型复杂目标）。在标注数据前需先选择模型类型，因为模型架构可能影响所需的标注形式。

模型可通过 CCStudio™ Edge AI Studio 或 edgeai-modelmaker 针对 TI 支持的神经网络进行训练。经验更丰富的开发人员可使用自动编码器模型实现异常检测来完成此任务。

为您的缺陷选择最佳的模型类型：

• 目标检测模型（如 YOLOX）：最适用于检测裂纹、元件缺失或其他大型缺陷等明显分离的独立缺陷。
• 语义分割模型（如 DeepLabv3）：非常适合检测表面问题，如变色或纹理问题。

平衡分辨率与速度：

选择的分辨率应足以捕捉重要的小缺陷，但不宜过于精细以致拖慢检查流程。大多数系统通过缩小采集的原始图像来减少处理数据量，从而提高效率。

考虑特殊情况下的异常检测：

当缺陷难以预测或定义时，异常检测模型（使用自动编码器）可提供更简单的方案。此类模型会学习"正常"产品的外观，将任何差异标记为潜在缺陷，无需使用缺陷样本进行训练。但请注意，Edge AI Studio 或 edgeai-modelmaker 尚不支持此类模型，开发人员需自行实现自动编码器神经网络，并导出为 ONNX 等受支持的格式。 

模型部署要求事先针对目标硬件加速器对模型进行编译。使用 Edge AI Studio 和 edgeai-modelmaker 等工具时，编译会自动完成。否则，编译模型需要通过 TI GitHub 上的 edgeai-tidl-tools 等软件包，使用“自带模型”流程单独进行。

模型工件通过 ONNX Runtime、LiteRT（前称为 tensorflow-lite）和 TVM 等运行时进行部署，使用 TI Deep Learning (TIDL) 作为后端软件来进行硬件加速。

要将模型部署到端到端的视觉应用中，可首先使用 edgeai-gst-apps，该工具除了能加速 AI 模型本身外，还通过多个硬件加速阶段构建处理流程，实现对图像的预处理和后处理。

除 edgeai-gst-apps 外，我们还构建了一个使用 YOLOX-Nano 目标检测网络和 edgeai-gst-apps 作为基准对小目标、环形终端进行缺陷检测的演示。该模型使用 Edge AI Studio 进行了训练，可识别合格器件与多类缺陷。附加的后处理和可视化功能可显示合格器件与缺陷器件数量的统计信息。