ZHCAF23A February   2025  – March 2025 AM62A3 , AM62A3-Q1 , AM62A7 , AM62A7-Q1 , AM67A , TDA4AEN-Q1

 

  1.   1
  2.   摘要
  3.   商标
  4. 1简介
  5. 2构建 RGB-IR 视觉流水线模块
    1. 2.1 CSI 接收器
    2. 2.2 图像信号处理器
    3. 2.3 视频处理单元
    4. 2.4 德州仪器 (TI) 深度学习加速技术
    5. 2.5 GStreamer 与 TIOVX 框架
  6. 3性能注意事项与基准测试工具
  7. 4参考设计
    1. 4.1 摄像头模块
    2. 4.2 传感器驱动程序
    3. 4.3 CSI-2 Rx 驱动程序
    4. 4.4 图像处理
    5. 4.5 适用于驾驶员与乘员监控的深度学习
    6. 4.6 参考代码与应用
  8. 5应用示例与基准测试
    1. 5.1 应用 1:利用 GST 进行单数据流采集与可视化
    2. 5.2 应用 2:利用 GST 与 TIOVX 框架进行双流采集与可视化
    3. 5.3 应用 3:GStreamerr 的代表性 OMS-DMS + 视频电话流水线
  9. 6总结
  10. 7参考资料
  11. 8修订历史记录

图像信号处理器

AM62A 器件搭载的图像信号处理器 (ISP) 又称“视觉预处理加速器 (VPAC)”,能够提供像素级的基本视觉处理功能。ISP 由视觉成像子系统 (VISS)、多标量 (MSC) 与镜头畸变校正 (LDC) 三个子模块共同组成。

 AM62A 图像信号处理器概述图 2-1 AM62A 图像信号处理器概述

VISS 子模块能够处理原始图像,生成去马赛克彩色图像与 IR 图像。VISS 有时也称 ISP。MSC 子模块最多可生成 10 幅缩放或裁剪图像。LDC 子模块能够进行透视与几何变换,主要用于校正镜头畸变。

AM62A ISP (VPAC) 的子模块能够在内存到内存模式或动态模式下运行:

  • 内存到内存模式:子模块能够从存储器读取数据并将处理后的数据再写回内存。
  • 动态模式:摄像头数据会直接发送到视觉成像子系统 (VISS),VISS 输出会直接发送到多标量 (MSC),而不会先存储至存储器。

VISS 能够以 4x4 RGB-IR 模式处理原始图像数据,并且产生两个输出流:一个 RGB 流与一个 IR 流,如 图 2-2 所示。

 通过 AM62A ISP 进行 RGB-IR 处理图 2-2 通过 AM62A ISP 进行 RGB-IR 处理

对于 4x4 图像数据,要先进行原始像素处理(例如:解压缩、WDR 合并、缺陷像素校正以及镜头阴影校正)。进行原始像素处理以后,可将图像数据分为 RGB 处理路径与 IR 处理路径两条路径。

  • RGB 处理路径:该路径包括典型的颜色处理功能(例如:去马赛克、自动白平衡、色彩校正以及噪声滤波)。此外,还会从 RGB 数据中去除 IR 污染。
  • IR 处理路径:该路径较为简单,仅涉及上采样与色调映射。

对于驾驶员监控等只需要 IR 图像的应用,可使用 IR 输出。对于需要彩色图像的视频通话或录制等应用,可使用 ISP 的 YUV 或 RGB 输出。此外,乘员(或座舱)监控还可以利用 RGB 输出以提高检测精度。