NESA447 March   2026 IWR6243

 

  1.   1
  2.   2

本應用簡介概述如何在 NVIDIA Holoscan 平台上部署使用德州儀器 (TI) IWR6243 mmWave 雷達感測器和攝影機構建即時 AI 原始感測器的融合管線，如 圖 1 中所示。

由攝影機、IWR6243 mmWave 雷達感測器和 NVIDIA Holoscan 平台組成的系統之視覺化圖 1 由攝影機、IWR6243 mmWave 雷達感測器和 NVIDIA Holoscan 平台組成的系統之視覺化

簡介

現代機器人（包括人形機器人、自主行動平台和工業自動化系統）必須在各種運作條件下，以高準確度、低延遲和一致的可靠性來感知環境。目前的技術，例如單獨使用視覺感測器，在遇到霧、眩光、灰塵、雨或低光照環境時，性能往往會下降，而單模態深度感測器經常難以在雜亂或動態場景中提供穩定的量測。

TI 的 mmWave 雷達技術提供了一種從根本上不同的感測模態，其在本質上可應對環境挑戰。IWR6243 mmWave 雷達感測器可提供精確的距離、速度和角度量測，不受光線條件影響，且對環境干擾具有強大的韌性。當原始資料與攝影機感知和 AI 感測器融合技術結合時，此功能可實現穩健且可靠的周圍環境感知，且保真度遠高於僅使用雷達或僅使用視覺的方法。

IWR6243 是一款高度整合的單晶片 4RX 和 3TX mmWave 雷達收發器，可於 57 至 64GHz 頻帶範圍內運作。這種整合程度可大幅降低系統複雜性、功耗和物料清單成本，因此專為可擴展的機器人和邊緣 AI 部署而設計。本裝置支援高解析度點雲產生，專為需要低延遲和確定性性能的即時感測應用而設計。

透過將 IWR6243 與 NVIDIA 的 Jetson Thor 和 NVIDIA Holoscan 感測器橋接器一起部署，開發人員可以將 TI 成熟的 mmWave 雷達感測與 NVIDIA 的 GPU 加速 AI 和串流基礎設施無縫結合起來。這種組合可讓雷達資料有效率地流入 AI 感測器融合管線，同時保留 TI 雷達聞名的物理量測準確度和可靠性。

在機器人應用中，IWR6243 可提供精確的短距離人體偵測與動作追蹤功能，以在倉庫等擁擠環境中實現安全導航。該雷達的直接量測距離和速度量測能力有助於在機器人周圍建立動態安全泡泡，可以根據物體距離和相對速度來指定和持續調整保護區域。在人形機器人中，雷達感測器可在行走、奔跑或執行操作任務期間進一步支援穩定的平衡控制與動態障礙物閃避。

系統概覽

系統架構以低延遲、以 GPU 為中心的資料路徑為核心，可維持感測器保真度，同時實現進階 AI 處理。此設計整合了 TI 的 IWR6243 mmWave 雷達模組、攝影機模組、用於高頻寬和確定性感測器資料收集的 NVIDIA Holoscan 感測器橋接器，以及在 Holoscan SDK（軟體開發套件）上執行運算的 NVIDIA Jetson Thor 邊緣運算平台，如 圖 2 中所示。

系統概覽圖 2 系統概覽

IWR6243 mmWave 雷達感測器透過高速 CSI-2 介面提供原始量測資料，能夠在最小傳輸負擔的情況下，直接、低延遲地存取原始雷達資訊。此介面允許雷達資料有效串流到 NVIDIA Holoscan 感測器橋接器，並在此透過零複製機制直接傳輸到 GPU 記憶體，同時兼具乙太網路的可擴展性和靈活性。此方法可維持 TI 高精密度雷達量測的完整性，同時將延遲和 CPU 介入降到最低。

在資料進入 GPU後，Holoscan 執行階段會使用基於圖形的執行模型來編排處理管線。雷達訊號處理、攝影機預處理、神經網路推論和多模態融合均以確定性方式進行排程，確保即使在感測器資料高速率傳輸下，也能滿足即時限制要求。此架構讓開發人員能充分使用 TI mmWave 雷達的量測準確度，同時有效地調整 AI 工作負載。

AI 感測器融合管線

感測器融合管線從同步收集雷達和攝影機資料開始。IWR6243 可提供距離、速度和角度量測原始資料，經由雷達處理，產生可擷取環境空間結構和運動特性的點雲。同時，攝影機訊框使用 GPU 加速 AI 模型處理，以擷取語義資訊，例如物件身分、姿態和分類。

雷達處理管線圖 3 雷達處理管線

融合階段會在空間與時間上將 TI 雷達量測與視覺偵測保持一致。源自雷達的深度與速度資訊可補充視覺推論，進而提高穩健性並減少模糊性。這在涉及快速移動物體、部分遮蔽或視覺條件惡化的情境中尤為重要，因為僅依靠攝影機感知可能會失效。

透過結合 TI 準確且不受光線影響的雷達感測與 AI 驅動的視覺語義，融合後的感知輸出可實現更高的置信度、更佳的追蹤穩定性以及更可靠的物件分類。產生的融合資料可用於即時決策、導航、安全監控或下游自主堆疊。

TI mmWave 雷達在感測器融合中的優勢

TI mmWave 雷達為感測器融合系統帶來了獨特優勢，而其他感測技術則難以實現這些優勢。該雷達提供的直接量測距離與速度功能，可實現精確的運動理解，從而增強追蹤與預測能力。mmWave 感測的穩健性使感知系統能夠在光學感測器性能下降的環境（包括低光亮度、眩光、霧和灰塵）中可靠運作。

IWR6243 的高度整合可降低系統複雜性與功耗，同時實現可擴展的多感測器部署。TI 在車用與工業雷達領域長期累積的專業知識，也為功能安全、可靠性和長期可用性提供了堅實基礎，而這些都是機器人和自主系統的關鍵要求。

當整合在 Holoscan 架構的 AI 管線中時，IWR6243 可做為感測器前端，為 AI 推論提供與真實世界量測對應的可靠感測器資料。這種組合可提高整體系統性能，並降低邊緣部署中感知失效的風險。

硬體入門指南

要使用以德州儀器 mmWave 雷達和 NVIDIA Holoscan 為基礎的雷達視覺感測器融合系統，首先需要組裝一個能支援從感測器到集中式 AI 運算平台之間高頻寬、低延遲資料傳輸的硬體堆疊。參考硬體配置結合了 TI 的雷達評估硬體以及 NVIDIA Holoscan 感測器橋接器和 NVIDIA Jetson Thor。

IWR6243 串級 EVM 做為雷達感測前端。此評估模組整合了兩個 IWR6243 mmWave 雷達裝置，以及快速開發和驗證所需的電源管理、時脈和連線。IWR6243 EVM 允許開發人員配置雷達頻擾和訊框時序，同時輸出適合進階訊號處理和 AI 融合的原始雷達資料。使用 EVM 可加速啟動，並提供一個已知良好的硬體基準，以反映量產級雷達設計的性能特性。

為了實現從 IWR6243EVM 到 Holoscan 生態系統的高效資料傳輸，在雷達評估模組和 NVIDIA Holoscan 感測器橋接器之間使用了一個 CSI-2 轉接板，如 圖 4 中所示。此轉接板將雷達輸出介面的訊號轉換為感測器橋接器所期望的 CSI-2 輸入格式。

硬體概覽圖 4 硬體概覽

Lattice CertusPro-NX 感測器轉乙太網路橋接板在低延遲、低功耗、靈活的 FPGA 上運作，可做為高頻寬感測器資料的中央彙總和傳輸裝置。它接收來自雷達的 CSI-2 串流，以及來自攝影機等其他感測器的其他介面訊號。感測器橋接器負責確定性的資料傳輸，並將感測器資料直接傳送至運算平台上可供 GPU 存取的記憶體中。

NVIDIA Jetson Thor 用作系統的集中運算平台。Jetson Thor 提供雷達訊號處理、攝影機推論、多模態融合與即時決策所需的 GPU 性能和 AI 加速能力。在 NVIDIA Jetson Thor 上運作 Holoscan SDK，可讓開發人員定義並執行串流 AI 管線，以可預測的延遲處理雷達和視覺資料。集中式運算方法可讓系統透過提升運算能力來在不同自主程度間擴展，而無需重新設計感測器硬體。

IWR6243EVM、CSI-2 轉接板、NVIDIA Holoscan 感測器橋接器、攝影機模組和 NVIDIA Jetson Thor 共同構成了雷達視覺感測器融合的完整硬體基礎。這種配置讓開發人員能夠專注於感知演算法和 AI 融合，同時依賴針對高頻寬感測、低延遲以及面向量產人形機器人與機器人系統可擴展性而最佳化的硬體架構。IWR6243 串級 EVM 硬體和轉接器電路板可直接從德州儀器取得，開發人員應聯絡其德州儀器銷售代表以了解供貨情況、訂購資訊與支援選項。

軟體入門指南

要使用 NVIDIA Holoscan Bridge 上的雷達視覺感測器融合軟體堆疊，涉及到設定 Holoscan SDK、啟用 Holoscan Sensor Bridge 軟體元件，以及部署實作雷達處理和感測器融合的應用軟體。

NVIDIA Holoscan SDK 提供了用於構建即時串流 AI 應用程式的核心軟體框架。其中包括基於圖形的執行模型、GPU 加速運算符、確定性排程，以及對感測器推論、視覺化和資料移動的整合支援。SDK 在 NVIDIA Jetson Thor 上執行，並管理雷達處理和攝影機推論的執行。

NVIDIA Holoscan 感測器橋接器軟體堆疊可讓高頻寬感測器有效地將資料串流至 Holoscan 執行階段，以此補充 SDK 的功能。它提供必要的驅動程式、韌體和介面，以將感測器資料從 Lattice 架構感測器橋接器硬體直接傳輸到可供 GPU 存取的記憶體中。此軟體層抽象化了感測器傳輸細節，並確保確定性的時序，讓應用程式開發人員能專注於感知演算法，而非低階資料傳輸。Holoscan 感測器橋接器與 Holoscan SDK 之間的緊密整合，對於在即時融合應用中維持雷達與攝影機串流之間的同步至關重要。

在 NVIDIA Holoscan 平台上，應用軟體實作了雷達配置、訊號處理、感測器對齊和融合邏輯。在此系統中，應用軟體由 D3 Embedded 開發，專為運用德州儀器 mmWave 雷達、Lattice Semiconductor 的 Holoscan 感測器橋接器和 NVIDIA Holoscan 基礎架構而設計。該軟體將 IWR6243 雷達資料整合到 Holoscan 架構的管線中，可在集中式處理架構中實現雷達點雲產生、攝影機對齊，以及 AI 驅動的融合。

D3 Embedded 開發的應用軟體可做為服務項目的一部分從 D3 Embedded (sales@d3embedded.com) 獲得。

NVIDIA Holoscan SDK、Holoscan 感測器橋接器軟體堆疊，以及 D3 Embedded 的應用軟體共同構成了即時雷達視覺感測器融合的完整軟體設計。這種組合可實現快速啟動、可擴展的性能，並為從評估硬體過渡到可立即量產的人形機器人與機器人系統提供了清晰的路徑。

結論

在 NVIDIA Holoscan 平台上，TI 的 IWR6243 mmWave 雷達與攝影機資料之間的即時 AI 感測器融合，提供了一個穩健、可擴展且可立即量產的感知設計。TI 的 mmWave 雷達技術可提供準確、不受光線影響的距離與速度量測，而 NVIDIA Holoscan 則可實現超低延遲的 GPU 處理與 AI 驅動的融合。這些技術結合起來，讓開發人員可打造先進的感知系統，能夠在複雜、動態且富有挑戰性的環境中可靠運作，進而加速下一代機器人與自主機器的部署。

註冊商標

所有商標皆屬於其各自所有者之財產。