Edge AI 的实现包含两个不同的阶段:离线训练工作流程和器件上运行时推理,如
图 3-1 所示。
模型开发工作流程
开发流水线通过四个连续阶段从初始应用定义过渡到最终的硬件编译:
- 任务定义和模型选择:根据具体的应用要求和操作限制来定义核心 AI 工作负载。开发人员可从 TI Model Zoo 中选择结构优化且高度参数化的参考模型,也可导入专有的定制网络架构。
- 数据集管理:高保真数据集对于在真实环境中更大限度地提高模型泛化能力至关重要。Edge AI Studio 图形用户界面 (GUI) 为数据采集和注释提供了简化的环境。该平台本身还支持摄取用户自有数据集。
- 训练和量化:模型在 PyTorch® 框架内进行训练,并通过标准 ONNX 格式导出。为了更大限度地提高硬件效率,该流水线采用 TI 优化的训练后量化 (PTQ) 或量化感知训练 (QAT/QDQ) 方法。
- 编译:编译后的模型会转换为高度优化的 C 代码或二进制库。该产物可以无缝、零开销地直接集成到下游 Code Composer Studio (CCS) 固件项目中。
器件上运行时数据流
成功部署到物理硬件后,系统会通过确定性流水线执行实时处理和边缘推理:
- 信号采集:物理传感器(传感器)持续对环境变量(如加速度、电压瞬变或声学波形)进行采样,从而将其转换为数字化传感器数据。
- 特征提取:根据可用的计算开销,原始数据可以选择性地进行局部特征提取。该阶段可降低数据维度并减轻下游推理引擎的计算负担。
- 神经网络推理:此内核执行阶段执行高速计算和分类。硬件神经处理单元 (NPU) 极大地加速了网络工作负载,并采用 CPU 处理系统编排和控制流管理来更大限度地减少延迟。
- 后处理:原始张量输出经过解码、标准化和转换,最终转化为高级可操作指标和客户关键绩效指标 (KPI)。
总之,这种解耦架构使得整个循环(包括物理数据感知、算法推理和确定性决策)都能够在网络边缘完全在本地执行,从而消除了对云的依赖并优化了确定性响应时间。