ZHDA053 February   2026

 

  1.   1
  2.   摘要
  3.   商标
  4. 1 简介
    1. 1.1 NPU 定义和用途
    2. 1.2 关键功能
    3. 1.3 技术限制
  5. 2 开发流程概述
    1. 2.1 模型开发阶段
    2. 2.2 模型编译阶段
    3. 2.3 应用程序集成阶段
  6. 3 模型创建示例 (Python)
    1. 3.1 模型选型依据
    2. 3.2 模型架构设计
    3. 3.3 训练详细信息
      1. 3.3.1 开发环境设置
      2. 3.3.2 数据集生成
      3. 3.3.3 模型训练配置
      4. 3.3.4 量化感知训练流程
  7. 4 嵌入式平台量化
    1. 4.1 量化方法：QAT 与 PTQ
      1. 4.1.1 训练后量化 (PTQ)
      2. 4.1.2 量化感知训练 (QAT)
    2. 4.2 量化框架和包装器模块
      1. 4.2.1 用于 CPU 量化的通用包装器
      2. 4.2.2 用于 NPU 硬件加速的 TINPU 包装器
  8. 5 验证模型
    1. 5.1 两阶段训练策略
      1. 5.1.1 初始训练阶段
      2. 5.1.2 微调阶段
    2. 5.2 训练阶段比较
    3. 5.3 验证结果和指标
  9. 6 测试模型
    1. 6.1 推理设置和方法
      1. 6.1.1 通用用户测试方法
    2. 6.2 测试结果和可视化分析
      1. 6.2.1 可视化性能评估
    3. 6.3 定量性能指标
  10. 7 将模型迁移至 TI MCU (C2000 – F28P55x)【入门级】
  11. 8 将模型迁移至 TI MCU (C2000 – F28P55x)【开发人员级别】
    1. 8.1 编译前提条件
      1. 8.1.1 必需的 TI 软件组件
      2. 8.1.2 环境设置过程
    2. 8.2 配置文件设置
      1. 8.2.1 配置文件结构
        1. 8.2.1.1 需要反量化标志的模型
      2. 8.2.2 回归模型专属配置
        1. 8.2.2.1 输出反量化标志
        2. 8.2.2.2 编译器常量修改
        3. 8.2.2.3 编译字典更新
    3. 8.3 编译处理流程
      1. 8.3.1 启动编译
      2. 8.3.2 编译阶段
      3. 8.3.3 需要注意的常见问题
  12. 9 MCU 工程设置
    1. 9.1 为 NPU 应用创建 CCS 工程
    2. 9.2 了解 NPU 接口
      1. 9.2.1 主要接口组件
      2. 9.2.2 基本使用模式
  13. 10在嵌入式环境中测试模型
    1. 10.1 可视化性能评估
    2. 10.2 定量性能指标
  14. 11NPU 在实时信号链中的集成
    1. 11.1 应用方框图
    2. 11.2 应用代码实现
    3. 11.3 所使用的硬件组件
    4. 11.4 硬件验证结果
      1. 11.4.1 输入信号特性
      2. 11.4.2 神经网络输出分析
  15. 12关键设计决策和影响
    1. 12.1 NPU 数值处理
      1. 12.1.1 纯整数架构
      2. 12.1.2 负值与浮点值处理
    2. 12.2 支持的神经网络层和约束
      1. 12.2.1 支持的层类型
        1. 12.2.1.1 卷积层
        2. 12.2.1.2 其他核心层
        3. 12.2.1.3 灵活性
    3. 12.3 模型复杂度和大小限制
      1. 12.3.1 内存约束和模型大小
      2. 12.3.2 优化流程和性能权衡
  16. 13基准测试
    1. 13.1 模型性能比较
      1. 13.1.1 128 神经元模型
      2. 13.1.2 64 神经元模型
      3. 13.1.3 16 神经元模型
      4. 13.1.4 参考基准测试
    2. 13.2 性能分析
      1. 13.2.1 模型选择权衡
      2. 13.2.2 CPU 与 NPU 性能对比
    3. 13.3 流水线级时序测量
  17. 14总结
    1. 14.1 关键功能和约束
    2. 14.2 开发工作流程
    3. 14.3 模型设计注意事项
    4. 14.4 实现挑战和解决方案
    5. 14.5 更广泛的应用
  18. 15参考资料

13.2.2 CPU 与 NPU 性能对比

CPU 与 NPU 执行之间的比较为实施决策提供重要指导依据：

复杂模型的 NPU 优势：对较大模型，NPU 可提供显著性能提升。128 神经元模型在 NPU 上的运行速度比在 CPU 上快 29.7%（延迟从 1.012ms 缩减至 0.7116ms），而 64 神经元模型则显示延迟缩减 20.7%。这一优势源于 NPU 专为神经网络并行计算设计的专用架构。

CPU 对于简单模型的优势：有趣的是，对于像 16 神经元这类极小模型，CPU 的性能实际上优于 NPU。相较于 NPU 的 39,557 个样本/秒，CPU 达到 44,643 个样本/秒，性能领先 12.9%。这种不合常理的结果源于与 NPU 之间的数据传输开销。16 神经元模型的计算工作量极少，以至于 CPU 可以直接在其原生执行环境中进行处理，避免了多个数据传输步骤。借助这样的小型模型，CPU 可以在单一执行上下文中完成整个推理，而不会产生 NPU 所需的内存传输开销。每次 NPU 推理都需要设置 DMA 传输、配置加速器、等待完成并检索结果 — 对于这种轻量级模型，这些操作总共消耗的时间超过了实际的神经网络计算时间。本质上，当模型如此之小时，专用硬件的使用“成本”超过其计算收益。