• Menu
  • Product
  • Email
  • PDF
  • Order now
  • AM6xA ISP 调优指南

    • ZHCACD0A March   2023  – May 2024 AM62A1-Q1 , AM62A3 , AM62A3-Q1 , AM62A7 , AM62A7-Q1 , AM67A , AM68A , AM69A

       

  • CONTENTS
  • SEARCH
  • AM6xA ISP 调优指南
  1.   1
  2.   摘要
  3.   商标
  4. 1 引言
  5. 2 调优概述
  6. 3 硬件要求
  7. 4 软件要求
    1. 4.1 Processor SDK Linux
    2. 4.2 TI 的参考成像软件
    3. 4.3 ISP 调优工具
  8. 5 传感器软件集成
    1. 5.1 图像流水线软件架构概述
    2. 5.2 向 SDK 添加传感器驱动程序
    3. 5.3 更新 TIOVX 模块
      1. 5.3.1 源代码更改
      2. 5.3.2 重新编译模块
    4. 5.4 更新用于 VISS 的 GStreamer 插件
      1. 5.4.1 更新 VISS 插件属性
      2. 5.4.2 添加 2A 算法的曝光设置
        1. 5.4.2.1 增益
        2. 5.4.2.2 曝光时间
        3. 5.4.2.3 其他参数
      3. 5.4.3 重新编译插件
      4. 5.4.4 在 GStreamer 插件中验证新传感器
  9. 6 调优过程
    1. 6.1 验证摄像头捕捉是否能够正常运行
    2. 6.2 使用初始 VPAC 配置启用摄像头流式传输
      1. 6.2.1 生成配置文件
      2. 6.2.2 生成 DCC 二进制文件
      3. 6.2.3 使用初始配置流式传输视频
    3. 6.3 调整摄像头安装
  10. 7 执行基本调优
    1. 7.1 启动调优工具并创建工程
    2. 7.2 调优顺序
    3. 7.3 黑电平消减
    4. 7.4 硬件 3A (H3A)
    5. 7.5 PCID
    6. 7.6 自动白平衡 (AWB)
      1. 7.6.1 捕获不同照明条件下的原始图像
      2. 7.6.2 AWB 调优
    7. 7.7 颜色校正
  11. 8 执行微调
    1. 8.1 边缘增强 (EE)
    2. 8.2 噪声滤波器 4 (NSF4)
  12. 9 实时调优
    1. 9.1 要求
    2. 9.2 支持的功能
      1. 9.2.1 RAW 捕捉
      2. 9.2.2 YUV 捕捉
      3. 9.2.3 实时 DCC 更新
      4. 9.2.4 曝光控制
      5. 9.2.5 白平衡控制
      6. 9.2.6 传感器寄存器读取/写入
  13. 10总结
  14. 11修订历史记录
  15. 重要声明
search No matches found.
  • Full reading width
    • Full reading width
    • Comfortable reading width
    • Expanded reading width
  • Card for each section
  • Card with all content

 

Application Note

AM6xA ISP 调优指南

下载最新的英语版本

摘要

本应用报告介绍了以下工作流程,即为原始摄像头调优 TI AM6xA 视觉处理器系列上的 ISP,以获得尽可能最佳的图像质量。本报告中提供的调优过程在 AM62A 入门套件 EVM 上结合使用 IMX219 传感器(仅 RGB)和 OX05B1S 传感器 (RGB-IR)。

商标

Linux®is a reg TM ofLinus Torvalds.

Python®is a reg TM ofPython Software Foundation.

Microsoft® and Windows®are reg TMs ofMicrosoft Corporation.

Other TMs

1 引言

AM6xA 视觉处理器具有硬件加速图像信号处理器 (ISP),也称为视觉预处理加速器 (VPAC)。VPAC 具有可配置的图像处理参数,旨在支持各种原始摄像头模块(典型的原始摄像头模块包括镜头、滤镜、原始图像传感器,有时还包括串行器)。为了在运行时获得特定原始摄像头模块的最佳图像质量,需要计算 VPAC 的参数,然后利用这些参数来逐帧处理原始传感器图像。为了实现这一点,工程师通常会在成像实验室的各种受控照明条件下准备合适的 VPAC 参数。然后在运行时,借助自动曝光 (AE)、自动白平衡 (AWB) 和动态 ISP 参数控制的软件成像算法,参考准备好的参数并通过插值来适应运行时照明环境。在成像实验室中准备合适的 VPAC 参数的过程在本应用报告中称为 ISP 调优。

本报告中所述的 ISP 调优过程适用于 AM6xA 视觉处理器系列中的所有 SoC,包括 AM62A、AM68A 和 AM69A。报告中提供了多个使用 AM62A 入门套件 EVM 的示例。

有关特定片上系统 (SoC) 上 ISP (VPAC) 的技术详细信息,请参阅该 SoC 的技术参考手册 (TRM)。

2 调优概述

AM6xA 系列 SoC 上的 ISP (VPAC) 通过动态摄像头配置 (DCC) 二进制文件进行配置。在基于 Linux® 的应用程序中,这些二进制文件通过常用的 GStreamer 流水线提供给 VPAC。VPAC 的处理块由 GStreamer 流水线元素(tiovxisp、tiovxldc 和 tiovxmultiscaler)封装,而 VPAC 的所有可配置参数都作为属性提供。

例如,以下 GStreamer 流水线将视频从 IMX219 摄像头流式传输到高清多媒体接口 (HDMI) 显示屏,并会在发送到显示屏前使用 VPAC 处理原始图像:

gst-launch-1.0 v4l2src device=/dev/video-imx219-cam0 io-mode=dmabuf-import ! \
video/x-bayer, width=1920, height=1080, framerate=30/1, format=rggb10 ! \
tiovxisp sink_0::device=/dev/v4l-imx219-subdev0 \
sensor-name="SENSOR_SONY_IMX219_RPI" \
dcc-isp-file=/opt/imaging/imx219/dcc_viss_10b.bin \
sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_10b.bin format-msb=9 ! \
video/x-raw, format=NV12, width=1920, height=1080, framerate=30/1 ! \
kmssink driver-name=tidss sync=false

在上面的流水线中,GStreamer 元素 tiovxisp 连接 VPAC 硬件和 TI 用于 AE 和 AWB (2A) 以及 ISP 参数控制成像算法的参考软件。IMX219 的 VPAC 配置通过以下两个二进制文件提供,这两个文件属于 tiovxisp 的属性:

  • dcc-isp-file=/opt/imaging/imx219/linear/dcc_viss_10b.bin,用于提供调优的 ISP 参数
  • dcc-2a-file=/opt/imaging/imx219/linear/dcc_2a_10b.bin,用于提供 AE 和 AWB 算法校准信息

这些二进制文件是 ISP 调优的输出,也称为动态摄像头配置 (DCC) 配置文件。

概括而言,AM6xA ISP 调优过程包括以下步骤(以 TI 的参考成像软件和调优工具为例):

  1. 硬件设置:准备和设置所有必要的硬件设备。
  2. 软件设置:下载并安装所有必要的软件组件。
  3. 传感器软件开发与集成:确保摄像头传感器驱动程序已正确与系统集成,并且可以捕获原始图像。添加自动曝光算法所需的曝光配置。向 GStreamer 插件添加对该传感器的支持。
  4. 生成初始 ISP 配置:运行 Python® 脚本来为 VPAC 配置生成初始(默认或基准)DCC 配置文件。此配置可以实现具有足以运行下一步的良好图像质量的视频流。
  5. 调整摄像头安装:使用上一步生成的 DCC 配置文件运行实时视频流式传输,并调整摄像头模块安装,以确保捕获位置、聚焦、照明等均良好的图像。
  6. ISP 基本调优:采集原始图像并执行基本调优,以便在实验室条件下实现最佳图像质量的 70%~80%。
  7. ISP 微调:使用在上一步中生成的新 DCC 配置文件再次运行实时流式传输。根据图像质量,确定需要改进的方面,并在必要时执行额外微调。

本应用手册使用 AM62A 入门套件 EVM 以及 IMX219 摄像头和 OX05B1S 摄像头来演示上述调优步骤。调优的原理和过程适用于任何定制板和原始摄像头。

3 硬件要求

对原始摄像头执行 ISP 调优所需的硬件设备包括:

  • AM62A 入门套件 EVM (SK EVM) 或带有 AM62A SOC 的定制板。有关完整的 EVM 设置,请参阅 AM62A SK EVM 快速入门指南。
  • 摄像头以及将摄像头连接到 AM62A SK EVM 所需的所有附件。有关如何将摄像头连接到 EVM 的信息,请参阅 AM62A Academy。在 Academy 主页上,转到 Evaluating Linux → Tour of TI Linux → Camera。
  • 灯箱:
    • 带有经过校准的光源,通常至少在 2700K 至 6500K 之间
    • 如果需要更宽的色温范围,则需要更多的光源
  • XRite 色卡。在某些情况下,根据设置需要不同的色卡大小。
  • 用于监控和记录照明条件的光度计和/或色度计。
  • 将摄像头固定在所需位置而需要的三脚架或支架。图 3-1 展示了此类设置的一个示例。
 调优硬件和设备设置 图 3-1 调优硬件和设备设置

4 软件要求

 

Texas Instruments

© Copyright 1995-2025 Texas Instruments Incorporated. All rights reserved.
Submit documentation feedback | IMPORTANT NOTICE | Trademarks | Privacy policy | Cookie policy | Terms of use | Terms of sale