ZHCAF23A February   2025  – March 2025 AM62A3 , AM62A3-Q1 , AM62A7 , AM62A7-Q1 , AM67A , TDA4AEN-Q1

 

  1.   1
  2.   摘要
  3.   商标
  4. 1简介
  5. 2构建 RGB-IR 视觉流水线模块
    1. 2.1 CSI 接收器
    2. 2.2 图像信号处理器
    3. 2.3 视频处理单元
    4. 2.4 德州仪器 (TI) 深度学习加速技术
    5. 2.5 GStreamer 与 TIOVX 框架
  6. 3性能注意事项与基准测试工具
  7. 4参考设计
    1. 4.1 摄像头模块
    2. 4.2 传感器驱动程序
    3. 4.3 CSI-2 Rx 驱动程序
    4. 4.4 图像处理
    5. 4.5 适用于驾驶员与乘员监控的深度学习
    6. 4.6 参考代码与应用
  8. 5应用示例与基准测试
    1. 5.1 应用 1:利用 GST 进行单数据流采集与可视化
    2. 5.2 应用 2:利用 GST 与 TIOVX 框架进行双流采集与可视化
    3. 5.3 应用 3:GStreamerr 的代表性 OMS-DMS + 视频电话流水线
  9. 6总结
  10. 7参考资料
  11. 8修订历史记录

简介

随着对可见光与红外光中图像传感需求的不断增长,利用单个摄像头同时捕捉 RGB 与 IR 图像的 RGB-IR 传感器变得越来越受欢迎。对于驾驶员监控与乘员监控(又称“座舱监控”)、机器人科学、安全监控以及智能家居系统等人工智能应用来说,有效处理与利用 RGB-IR 数据具有重要意义。AM62A SoC 是构建该等智能系统的理想选择,详情参阅 [1]。

本应用手册的重点是在 AM62A SoC 上实现从 RGB-IR 摄像头到人工智能引擎的视觉处理流水线,用于支持视频通话或视频录制的驾驶员与乘员监控系统(DMS 或 OMS)。本文档首先概述了基本的硬件与软件组件,然后介绍了参考设计与基准测试。