PTQ 针对已完成浮点精度训练的模型执行量化。该方法流程简洁,但可能会牺牲精度,尤其是对于较小的模型或精度敏感的任务。
主要特性:
- 过程:常规训练模型 → 校准量化参数 → 转换为量化格式。
- 校准功能:使用具有代表性的数据集来确定缩放因子。
- 开发速度:加快开发周期(无需重新训练)。
- 精度影响:通常,与 QAT 相比,精度损失更高。
优势:
- 使用现有经过训练的模型简化工作流程。
- 无需修改训练流程。
- 部署路径更短。
- 开发阶段计算资源需求更低。
限制:
- 可能导致精度显著下降。
- 对量化效应的可控性低。
- 对正弦函数逼近这类回归任务挑战极大。
- 补偿量化失真的能力有限。