피지컬 AI는 카메라, LiDAR(빛 감지 및 거리 측정), 레이더 등의 센서를 사용하여 현실의 실제 데이터를 수집함으로써 자율주행 시스템 및 로봇에 배포된 AI 모델이 물리적 공간을 이해하고 현실 환경에서 작동할 수 있도록 합니다.

센서 융합은 여러 센서로부터 수집된 데이터를 결합하여 정보의 정확성과 신뢰성을 높이는 과정입니다. 서로 다른 종류의 센서(예: LiDAR, 레이더, 카메라)에서 얻은 정보를 결합함으로써 시스템은 주변 환경에 대한 더 완전한 그림을 만들 수 있습니다. 센서 융합은 개별 센서의 오류나 고장으로 인한 영향을 줄일 수도 있습니다. 이 기술은 자율주행차(AV)와 로보틱스를 비롯한 다양한 분야에 활용되고 있습니다.

센서 융합의 가장 일반적인 활용 사례 중 하나는 로보택시에 장착된 다양한 센서, 즉 LiDAR에서 얻은 3D 포인트 클라우드와 전방, 측면, 후방 카메라에서 촬영한 2D 이미지를 결합하는 것입니다.

센서는 빛, 열, 소리와 같은 물리적 자극을 감지하고 이에 반응하는 장치입니다. 센서마다 기능을 수행하는 데 사용하는 기술이 다릅니다. 예를 들어, LiDAR 및 레이더 센서는 레이저와 전파를 사용하여 주변 환경을 감지하는 반면, 초음파 센서는 음파를 사용합니다.

LiDAR (광 탐지 및 거리 측정)

높은 정확도, 장거리, 빠른 데이터 수집. LiDAR는 자율주행차와 로봇의 지도 작성 및 장애물 회피에 이상적입니다.

RADAR (무선 탐지 및 거리 측정)

레이더 센서는 다양한 기상 조건에서도 물체를 감지할 수 있고, 먼 거리에서도 탐지가 가능하여 충돌 방지 및 자율 주행과 같은 응용 분야에 이상적입니다.

SONAR (음향 탐지 및 거리 측정)

소나 센서는 음파를 방출하고, 그 음파가 물체에 부딪혀 반사되어 돌아오는 데 걸리는 시간을 측정합니다. 로봇 공학과 자동차 분야에서는 물체까지의 거리를 측정하는 데 사용할 수 있습니다.

구조화된 광원

구조광 센서는 3D 스캐너를 사용하여 물체의 3차원 치수를 측정합니다. 높은 해상도와 정확도로 인해 3D 스캔 및 매핑 응용 분야에 적합합니다.

Time-of-Flight (ToF) 센서

ToF 센서는 깊이 감지 기술을 활용해 거리를 측정하는 데 사용됩니다. 빠르고 신뢰성이 높아 제스처 인식, 객체 추적, 로봇 내비게이션과 같은 응용 분야에 적합한 선택입니다.

스테레오 비전 센서

스테레오 비전 센서는 두 개(또는 그 이상)의 센서를 사용하여 인간의 양안 시각을 모방합니다. 높은 정밀도의 깊이 감지, 우수한 공간 해상도, 저렴한 비용 덕분에 장애물 회피, 3D 매핑, 로봇 내비게이션과 같은 응용 분야에 적합합니다.

초음파 센서

초음파 센서는 저렴하고 사용이 간편하며 다양한 재질을 감지할 수 있어 주차 보조 및 물체 감지와 같은 응용 분야에 적합합니다.

Step 1: Overlay the data

• The first step is to calibrate and align all the sensor views, then overlay all of your data into a single view. This fused view gives your labeler more context, allowing it to tell what groups of point clouds represent.

Step 2: Label the 3D point clouds

• We advise that you label in 3D before projecting to 2D for a few reasons, even though it may seem counterintuitive. Labeling in 3D first often proves to be significantly more efficient, even if your primary interest is in obtaining 2D labels.
• Imagine you are driving past a stationary object like a traffic sign. Equipped with multiple cameras, this traffic sign remains visible in three of them as you pass by, spanning approximately 100 frames.
• Annotating this scenario using 2D bounding boxes would require you to label a total of 300 instances. However, in the 3D space, annotating this static, non-moving traffic sign would involve a single cuboid annotation.
• While labeling a 3D cuboid does take three times as long as annotating a 2D bounding box, it is still 100 times more efficient than labeling directly in the images.

Step 3: Project to 2D images

• Once you’ve labeled your 3D point clouds, you can calibrate and align them to your 2D image data. Segments.ai will automatically copy over object IDs to the 2D data, saving you hours of drawing bounding boxes. You only need to make minor adjustments during your quality control check.

AV 및 로보틱스 기업들이 머신러닝(ML) 모델에서 후반 결합 방식에서 초반 결합 방식으로 전환하는 추세가 점점 더 두드러지고 있습니다.

Late fusion은 각 센서마다 별도의 ML 모델을 사용하여 개별 출력을 생성하는 방식을 의미합니다. 이렇게 생성된 출력들은 이후에 결합 또는 융합되어 장면의 일관된 3D 표현을 만듭니다. 이는 여러 모델을 독립적으로 실행한 후 그 결과를 결합하는 과정을 포함합니다.

Early fusion은 보다 현대적인 접근 방식을 취합니다. 각 센서마다 별도의 모델을 사용하는 대신, 모든 센서 데이터를 하나의 ML 모델에 입력합니다. 이 통합된 모델은 3D 공간 내에서 직접적으로 예측을 수행하도록 설계되었습니다.

초기 융합이 효과적이기 위해서는 복셀 그리드가 장면을 표현하는 데 유리한 방식임이 입증되었습니다. 복셀 그리드는 규칙적인 구조를 가지고 있어 이 접근 방식에 적합합니다. 복셀 그리드는 텐서로 개념화할 수 있어, 엔드 투 엔드 예측이 가능합니다. 입력부터 출력까지의 전체 과정을 하나의 모델로 예측할 수 있습니다.