ZHCACD0A March   2023  – May 2024 AM62A1-Q1 , AM62A3 , AM62A3-Q1 , AM62A7 , AM62A7-Q1 , AM67A , AM68A , AM69A

 

  1.   1
  2.   摘要
  3.   商标
  4. 引言
  5. 调优概述
  6. 硬件要求
  7. 软件要求
    1. 4.1 Processor SDK Linux
    2. 4.2 TI 的参考成像软件
    3. 4.3 ISP 调优工具
  8. 传感器软件集成
    1. 5.1 图像流水线软件架构概述
    2. 5.2 向 SDK 添加传感器驱动程序
    3. 5.3 更新 TIOVX 模块
      1. 5.3.1 源代码更改
      2. 5.3.2 重新编译模块
    4. 5.4 更新用于 VISS 的 GStreamer 插件
      1. 5.4.1 更新 VISS 插件属性
      2. 5.4.2 添加 2A 算法的曝光设置
        1. 5.4.2.1 增益
        2. 5.4.2.2 曝光时间
        3. 5.4.2.3 其他参数
      3. 5.4.3 重新编译插件
      4. 5.4.4 在 GStreamer 插件中验证新传感器
  9. 调优过程
    1. 6.1 验证摄像头捕捉是否能够正常运行
    2. 6.2 使用初始 VPAC 配置启用摄像头流式传输
      1. 6.2.1 生成配置文件
      2. 6.2.2 生成 DCC 二进制文件
      3. 6.2.3 使用初始配置流式传输视频
    3. 6.3 调整摄像头安装
  10. 执行基本调优
    1. 7.1 启动调优工具并创建工程
    2. 7.2 调优顺序
    3. 7.3 黑电平消减
    4. 7.4 硬件 3A (H3A)
    5. 7.5 PCID
    6. 7.6 自动白平衡 (AWB)
      1. 7.6.1 捕获不同照明条件下的原始图像
      2. 7.6.2 AWB 调优
    7. 7.7 颜色校正
  11. 执行微调
    1. 8.1 边缘增强 (EE)
    2. 8.2 噪声滤波器 4 (NSF4)
  12. 实时调优
    1. 9.1 要求
    2. 9.2 支持的功能
      1. 9.2.1 RAW 捕捉
      2. 9.2.2 YUV 捕捉
      3. 9.2.3 实时 DCC 更新
      4. 9.2.4 曝光控制
      5. 9.2.5 白平衡控制
      6. 9.2.6 传感器寄存器读取/写入
  13. 10总结
  14. 11修订历史记录

调优概述

AM6xA 系列 SoC 上的 ISP (VPAC) 通过动态摄像头配置 (DCC) 二进制文件进行配置。在基于 Linux® 的应用程序中,这些二进制文件通过常用的 GStreamer 流水线提供给 VPAC。VPAC 的处理块由 GStreamer 流水线元素(tiovxisp、tiovxldc 和 tiovxmultiscaler)封装,而 VPAC 的所有可配置参数都作为属性提供。

例如,以下 GStreamer 流水线将视频从 IMX219 摄像头流式传输到高清多媒体接口 (HDMI) 显示屏,并会在发送到显示屏前使用 VPAC 处理原始图像:

gst-launch-1.0 v4l2src device=/dev/video-imx219-cam0 io-mode=dmabuf-import ! \
video/x-bayer, width=1920, height=1080, framerate=30/1, format=rggb10 ! \
tiovxisp sink_0::device=/dev/v4l-imx219-subdev0 \
sensor-name="SENSOR_SONY_IMX219_RPI" \
dcc-isp-file=/opt/imaging/imx219/dcc_viss_10b.bin \
sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_10b.bin format-msb=9 ! \
video/x-raw, format=NV12, width=1920, height=1080, framerate=30/1 ! \
kmssink driver-name=tidss sync=false

在上面的流水线中,GStreamer 元素 tiovxisp 连接 VPAC 硬件和 TI 用于 AE 和 AWB (2A) 以及 ISP 参数控制成像算法的参考软件。IMX219 的 VPAC 配置通过以下两个二进制文件提供,这两个文件属于 tiovxisp 的属性:

  • dcc-isp-file=/opt/imaging/imx219/linear/dcc_viss_10b.bin,用于提供调优的 ISP 参数
  • dcc-2a-file=/opt/imaging/imx219/linear/dcc_2a_10b.bin,用于提供 AE 和 AWB 算法校准信息

这些二进制文件是 ISP 调优的输出,也称为动态摄像头配置 (DCC) 配置文件。

概括而言,AM6xA ISP 调优过程包括以下步骤(以 TI 的参考成像软件和调优工具为例):

  1. 硬件设置准备和设置所有必要的硬件设备。
  2. 软件设置下载并安装所有必要的软件组件。
  3. 传感器软件开发与集成确保摄像头传感器驱动程序已正确与系统集成,并且可以捕获原始图像。添加自动曝光算法所需的曝光配置。向 GStreamer 插件添加对该传感器的支持。
  4. 生成初始 ISP 配置运行 Python® 脚本来为 VPAC 配置生成初始(默认或基准)DCC 配置文件。此配置可以实现具有足以运行下一步的良好图像质量的视频流。
  5. 调整摄像头安装使用上一步生成的 DCC 配置文件运行实时视频流式传输,并调整摄像头模块安装,以确保捕获位置、聚焦、照明等均良好的图像。
  6. ISP 基本调优采集原始图像并执行基本调优,以便在实验室条件下实现最佳图像质量的 70%~80%。
  7. ISP 微调使用在上一步中生成的新 DCC 配置文件再次运行实时流式传输。根据图像质量,确定需要改进的方面,并在必要时执行额外微调。

本应用手册使用 AM62A 入门套件 EVM 以及 IMX219 摄像头和 OX05B1S 摄像头来演示上述调优步骤。调优的原理和过程适用于任何定制板和原始摄像头。