이 애플리케이션 개요에서는 그림 1에 나와 있는 것처럼 NVIDIA의 Holoscan 플랫폼에 배포된 TI(텍사스 인스트루먼트) IWR6243 mmWave 레이더 센서와 카메라를 사용하여 실시간 AI 원시 센서 융합 파이프라인을 구축하는 방법을 설명합니다.

그림 1 카메라, IWR6243 mmWave 레이더 센서 및 NVIDIA의 Holoscan 플랫폼으로 구성된 시스템의 시각화

소개

휴머노이드 로봇, 자율 모바일 플랫폼 및 산업용 자동화 시스템을 포함한 첨단 로봇은 광범위한 작동 조건에서 높은 정확도, 낮은 지연 시간 및 일관된 안정성으로 환경을 인식해야 합니다. 비전 센서 단독과 같은 현재 기술은 안개, 눈부심, 먼지, 비 또는 저조도 환경에 노출될 때 종종 성능이 저하되는 경우가 있으며, 단일 모드 깊이 센서는 복잡하거나 장면이나 동적인 장면에서 안정적인 측정값을 제공하는 데 자주 어려움을 겪습니다.

TI의 mmWave 레이더 기술은 이러한 환경적 어려움에 본질적으로 강한 근본적으로 다른 감지 모드를 제공합니다. IWR6243 mmWave 레이더 센서는 조명 조건과 관계없이, 환경적 간섭에 대한 강력한 복원력으로 정밀한 범위, 속도 및 각도 측정값을 제공합니다. 원시 데이터가 카메라 기반 인식 및 AI 기반 센서 융합과 결합되면 이를 통해 레이더 단독 기반 또는 비전 단독 기반 접근 방식보다 훨씬 더 높은 충실도로 주변 환경을 견고하고 안정적으로 인식할 수 있습니다.

IWR6243은 57~64GHz 주파수 대역에서 작동하는 고집적 단일 칩 4RX 및 3TX mmWave 레이더 트랜시버입니다. 이런 높은 집적도는 시스템 복잡성, 소비 전력 및 재료 사양서 비용을 크게 줄이며, 이런 이유로 본 트랜시버는 확장 가능한 로봇 및 에지 AI 배포에 알맞습니다. 본 장치는 고해상도 포인트 클라우드 생성을 지원하며, 낮은 지연 시간과 결정론적 성능이 요구되는 실시간 감지 애플리케이션을 위해 설계되었습니다.

개발자는 IWR6243을 NVIDIA의 Jetson Thor 및 NVIDIA Holoscan Sensor Bridge와 함께 배포하여 TI의 검증된 mmWave 레이더 센서와 NVIDIA의 GPU 가속 AI 및 스트리밍 인프라를 원활하게 결합할 수 있습니다. 이러한 결합을 통해 레이더 데이터가 AI 센서 융합 파이프라인에 효율적으로 전송되는 동시에 TI 레이더의 높은 물리적 측정 정확도와 안정성을 유지할 수 있습니다.

로봇 애플리케이션에서 IWR6243은 창고와 같은 혼잡한 환경에서 안전한 내비게이션을 위한 정밀한 단거리 인체 감지 및 동작 추적을 지원합니다. 레이더의 직접적인 범위 및 속도 측정 기능을 통해 로봇 주변에 동적 안전 버블을 만들 수 있으며, 물체 거리와 상대 속도에 따라 보호 영역을 정의하고 지속적으로 조정할 수 있습니다. 휴머노이드 로봇에서는 레이더 센서가 걷기, 달리기 또는 조작 작업 중 안정적인 균형 제어와 동적 장애물 회피를 추가로 지원합니다.

시스템 개요

시스템 아키텍처는 고급 AI 처리를 지원하면서 센서 충실도를 유지하는 저지연 GPU 중심 데이터 경로를 핵심으로 합니다. 이 설계는 그림 2에 나와 있는 것처럼 TI의 IWR6243 mmWave 레이더 모듈, 카메라 모듈, 고대역폭 및 결정론적 센서 데이터 수집을 위한 NVIDIA의 Holoscan Sensor Bridge, 그리고 Holoscan SDK(소프트웨어 개발 키트)에서 실행되는 NVIDIA의 Jetson Thor 에지 컴퓨팅 플랫폼을 모두 통합합니다.

그림 2 시스템 개요

IWR6243 mmWave 레이더 센서는 고속 CSI-2 인터페이스를 통해 원시 측정 데이터를 제공하여, 최소한의 전송 오버헤드로 원시 레이더 정보에 대한 직접 저지연 액세스를 지원합니다. 이 인터페이스를 통해 레이더 데이터를 NVIDIA Holoscan Sensor Bridge로 효율적으로 스트리밍할 수 있으며, 이더넷의 확장성과 유연성을 활용하면서 제로 카피 메커니즘을 사용하여 GPU 메모리로 직접 전송할 수 있습니다. 이러한 접근 방식은 TI의 고정밀 레이더 측정의 무결성을 유지하면서 지연 시간과 CPU 개입을 최소화합니다.

GPU에 데이터가 전송되면 Holoscan 런타임이 그래프 기반 실행 모델을 사용하여 처리 파이프라인을 조율합니다. 레이더 신호 처리, 카메라 전처리, 신경망 추론, 다중 모드 융합이 결정론적으로 스케줄링되어 높은 센서 데이터 속도에서도 실시간 제약 조건이 충족됩니다. 이 아키텍처를 통해 개발자는 TI mmWave 레이더의 측정 정확도를 완전히 활용하는 동시에 AI 워크로드를 효율적으로 확장할 수 있습니다.

AI 센서 융합 파이프라인

센서 융합 파이프라인은 레이더 및 카메라 데이터의 동기화된 수집으로 시작됩니다. 레이더 처리는 IWR6243의 범위, 속도 및 각도 측정을 위해 원시 데이터를 제공하는 기능을 활용하여, 환경의 공간 구조와 동작 특성을 모두 캡처하는 포인트 클라우드를 생성합니다. 동시에 물체 식별, 자세 및 분류와 같은 의미 정보를 추출하는 GPU 가속 AI 모델을 사용하여 카메라 프레임이 처리됩니다.

그림 3 레이더 처리 파이프라인

융합 단계는 TI 레이더 측정값과 시각적 감지 결과를 공간과 시간 양 측면에서 정렬합니다. 레이더에서 도출된 깊이 및 속도 정보가 비전 기반 추론을 보완하여 견고성을 향상하고 모호성을 낮춥니다. 이는 빠르게 움직이는 물체, 부분 폐색 또는 카메라 단독 인식이 실패할 수 있는 시각 성능 저하가 포함된 시나리오에서 특히 유용합니다.

TI의 정확하고 조명 독립적인 레이더 감지와 AI 기반 시각적 의미 처리를 결합함으로써, 융합 인식 출력은 신뢰도를 높이고 추적 안정성과 물체 분류의 신뢰성을 향상시킵니다. 그 결과로 생성된 융합 데이터는 실시간 의사 결정, 내비게이션, 안전 모니터링 또는 다운스트림 자율주행 스택에 활용할 수 있습니다.

센서 융합에서 TI mmWave 레이더의 장점

TI의 mmWave 레이더는 다른 감지 기술로는 달성하기 어려운 고유한 이점을 센서 융합 시스템에 제공합니다. 범위와 속도를 직접 측정할 수 있는 기능은 추적과 예측 능력을 향상시키는 정밀한 동작 이해를 가능하게 합니다. mmWave 감지의 견고성은 저조도, 눈부심, 안개 및 먼지를 포함하여 광학 센서의 성능이 저하되는 환경에서도 인식 시스템이 안정적으로 작동할 수 있게 합니다.

IWR6243의 높은 집적도는 시스템 복잡성과 소비 전력을 줄이는 동시에 확장 가능한 멀티 센서 배포를 가능하게 합니다. 또한 차량용 및 산업용 레이더 분야에 관한 TI의 오랜 전문 지식은 로봇 및 자율 시스템의 주요 요구 사항인 기능 안전, 안정성 및 장기 가용성을 위한 강력한 기반을 제공합니다.

Holoscan 기반 AI 파이프라인에 통합되면 IWR6243은 AI 추론을 위한 안정적인 센서 데이터를 실제 측정값으로 제공하는 센서 프론트 엔드 역할을 합니다. 이러한 조합을 통해 전체 시스템 성능이 향상되고 에지 배포 시 인식 실패 위험이 줄어듭니다.

하드웨어 시작하기

텍사스 인스트루먼트 mmWave 레이더와 NVIDIA Holoscan에 기반을 둔 레이더 비전 센서 융합 시스템 구축은 센서에서 중앙 집중식 AI 컴퓨팅 플랫폼으로의 고대역폭, 저지연 데이터 이동을 지원하는 하드웨어 스택을 조립하는 것으로 시작합니다. 레퍼런스 하드웨어 구성은 TI의 레이더 평가 하드웨어와 NVIDIA Holoscan Sensor Bridge 및 NVIDIA Jetson Thor를 결합합니다.

IWR6243 캐스케이드 EVM은 레이더 감지 프론트 엔드 역할을 합니다. 이 평가 모듈은 신속한 개발 및 검증을 위해 필요한 전력 관리, 클로킹 및 연결성과 함께 두 개의 IWR6243 mmWave 레이더 장치를 통합합니다. 개발자는 IWR6243 EVM을 통해 레이더 처프와 프레임 타이밍을 구성하면서 고급 신호 처리 및 AI 기반 융합에 적합한 원시 레이더 데이터를 노출할 수 있습니다. EVM을 사용하면 브링업이 가속화되고 양산 레이더 설계의 성능 특성을 반영하는 검증된 하드웨어 기준을 확보할 수 있습니다.

IWR6243EVM에서 Holoscan 에코시스템으로의 효율적인 데이터 전송을 위해, 그림 4에 나와 있는 것처럼 레이더 평가 모듈과 NVIDIA Holoscan Sensor Bridge 사이에 CSI-2 어댑터 보드가 사용됩니다. 이 어댑터 보드는 레이더 출력 인터페이스의 신호를 Sensor Bridge가 요구하는 CSI-2 입력으로 변환합니다.

그림 4 하드웨어 개요

저지연, 저전력의 유연한 FPGA에서 동작하는 Lattice CertusPro-NX 센서-이더넷 브리지 보드는 고대역폭 센서 데이터를 위한 중앙 집계 및 전송 장치 역할을 합니다. 레이더에서 CSI-2 스트림을 수신하고 카메라와 같은 다른 센서에서 추가 인터페이스를 수신합니다. Sensor Bridge는 결정론적 데이터 이동을 담당하고 컴퓨팅 플랫폼의 GPU 액세스 가능 메모리에 센서 데이터를 직접 전달하는 역할을 담당합니다.

NVIDIA Jetson Thor는 시스템의 중앙 집중식 컴퓨팅 플랫폼 역할을 합니다. Jetson Thor는 레이더 신호 처리, 카메라 추론, 다중 모드 융합 및 실시간 의사 결정에 필요한 GPU 성능과 AI 가속화를 제공합니다. NVIDIA Jetson Thor에서 Holoscan SDK를 실행하면 개발자가 예측 가능한 지연 시간으로 레이더 및 비전 데이터를 처리하는 스트리밍 AI 파이프라인을 정의하고 실행할 수 있습니다. 중앙 집중식 컴퓨팅 접근 방식을 통해 센서 하드웨어를 다시 설계하지 않고도 컴퓨팅 성능을 높여 시스템을 여러 자율성 수준에 걸쳐 확장할 수 있습니다.

IWR6243EVM, CSI-2 어댑터 보드, NVIDIA Holoscan Sensor Bridge, 카메라 모듈, NVIDIA Jetson Thor가 함께 레이더 비전 센서 융합을 위한 완벽한 하드웨어 기반을 형성합니다. 이 구성을 통해 개발자는 인식 알고리즘 및 AI 융합에 집중하면서 고대역폭 감지, 낮은 지연 시간 및 생산 휴머노이드와 로봇 시스템으로의 확장성에 최적화된 하드웨어 아키텍처를 활용할 수 있습니다. IWR6243 캐스케이드 EVM 하드웨어와 어댑터 보드는 텍사스 인스트루먼트에서 직접 구매할 수 있으며, 개발자는 텍사스 인스트루먼트 영업 담당자에게 가용성, 주문 정보 및 지원 옵션을 문의하시기 바랍니다.

소프트웨어 시작하기

NVIDIA Holoscan Bridge의 레이더 비전 센서 융합을 위한 소프트웨어 스택 구현은 Holoscan SDK 설정, Holoscan Sensor Bridge 소프트웨어 구성 요소 활성화, 레이더 처리 및 센서 융합을 구현하는 애플리케이션 소프트웨어 배포로 시작됩니다.

NVIDIA Holoscan SDK는 실시간 스트리밍 AI 애플리케이션을 구축하기 위한 핵심 소프트웨어 프레임워크를 제공합니다. 여기에는 그래프 기반 실행 모델, GPU 가속 연산자, 결정론적 스케줄링 및 센서 추론, 시각화와 데이터 이동 통합 지원이 포함됩니다. 해당 SDK는 NVIDIA Jetson Thor에서 실행되며 레이더 처리 및 카메라 추론의 실행을 관리합니다.

NVIDIA Holoscan Sensor Bridge 소프트웨어 스택은 고대역폭 센서가 Holoscan 런타임으로 데이터를 효율적으로 스트리밍할 수 있도록 하여 SDK를 보완합니다. Lattice 기반 센서 브리지 하드웨어에서 GPU 액세스 가능 메모리로 센서 데이터를 직접 이동하는 데 필요한 드라이버, 펌웨어 및 인터페이스를 제공합니다. 이 소프트웨어 계층은 센서 전송 세부 정보를 추상화하고 결정론적인 타이밍을 검증하여 애플리케이션 개발자가 저수준의 데이터 이동보다는 인식 알고리즘에 집중할 수 있도록 합니다. Holoscan Sensor Bridge와 Holoscan SDK 간의 긴밀한 통합은 실시간 융합 애플리케이션에서 레이더와 카메라 스트림 간의 동기화를 유지하는 데 매우 중요합니다.

애플리케이션 소프트웨어는 NVIDIA Holoscan 플랫폼 위에서 레이더 구성, 신호 처리, 센서 정렬 및 융합 로직을 구현합니다. 이 시스템의 애플리케이션 소프트웨어는 D3 Embedded에서 개발했으며, 텍사스 인스트루먼트의 mmWave 레이더, Lattice Semiconductor의 Holoscan Sensor Bridge 보드 및 NVIDIA Holoscan 인프라를 활용하도록 특별히 설계되었습니다. 이 소프트웨어는 IWR6243 레이더 데이터를 Holoscan 기반 파이프라인에 통합하여 중앙 집중식 처리 아키텍처 내에서 레이더 포인트 클라우드 생성, 카메라 정렬 및 AI 기반 융합을 가능하게 합니다.

D3 Embedded에서 개발한 애플리케이션 소프트웨어는 D3 Embedded sales@d3embedded.com에서 서비스 계약을 통해 획득할 수 있습니다.

NVIDIA Holoscan SDK, Holoscan Sensor Bridge 소프트웨어 스택, D3 Embedded의 애플리케이션 소프트웨어는 함께 실시간 레이더 비전 센서 융합을 위한 완벽한 소프트웨어 설계를 구성합니다. 이 조합을 통해 신속한 브링업, 확장 가능한 성능, 그리고 평가 하드웨어에서 생산 준비가 된 휴머노이드 및 로봇 시스템으로 명확한 경로 구현이 가능합니다.

참고 자료

https://www.ti.com/product/IWR6243

https://www.ti.com/drr/opn/XWR6243-RESTRICTED

https://dev.ti.com/?id=IWR6243

https://www.ti.com/applications/industrial/robotics/overview.html

https://www.nvidia.com/en-us/edge-computing/holoscan/

https://www.latticesemi.com/en/Solutions/Solutions/SolutionsDetails02/Holoscan-Sensor-Bridge-Solutions

https://www.d3embedded.com/

상표

모든 상표는 각 소유권자의 자산입니다.