摘要

TIDL 是 TI 的 AI 推理框架，在 TDA4x 和 AM6xA 系列处理器上运行，利用内置的 C7xMMA AI 加速器实现高效的 AI 模型推理。C7xMMA 作为专用的 AI 推理加速器，具有复杂的架构。虽然 TIDL 推理框架已广泛优化资源分配，从而更大限度地提高利用率，但在模型推理期间仍可能会出现较高的内存带宽消耗。为了进一步利用推理资源并减少内存用量，TIDL 上运行的模型需要进行额外的优化。本文档详细介绍了旨在减少 DDR 带宽消耗的模型优化方法。