實體 AI 利用感測器（如攝影機、光達（LiDAR）和雷達）蒐集現實世界的數據，讓部署於自動化系統和機器人的 AI 模型能夠理解實體空間，從而在真實環境中執行任務。

感測器融合是將多個感測器的資料結合，以提升資訊的準確性與可靠性。透過整合不同類型感測器（如 LiDAR、雷達與攝影機）所獲得的資訊，系統能夠建立更完整的環境圖像。感測器融合也能降低單一感測器發生錯誤或故障時的影響。這項技術廣泛應用於自駕車（AV）及機器人等領域。

感測器融合最常見的應用之一，是結合安裝於自動駕駛計程車上的各種感測器，包括來自 LiDAR 的 3D 點雲，以及來自前方、側邊和後方攝影機的 2D 影像。

感測器是一種能夠偵測並回應物理刺激（如光、熱和聲音）的裝置。不同的感測器會運用不同的技術來執行其功能。例如，LiDAR 和雷達感測器分別利用雷射與無線電波來感知周遭環境，而超音波感測器則是利用聲波進行偵測。

LiDAR（光學雷達，光學偵測與測距技術）

高精度、長距離且快速的數據擷取。LiDAR 非常適合自動駕駛車輛與機器人的地圖建立與障礙物偵測。

雷達（無線電探測與測距）

雷達感測器能夠在各種天氣條件下及遠距離偵測物體，非常適合用於防碰撞與自動駕駛等應用。

聲納（聲音導航與測距）

聲納感測器會發射聲波，並測量聲波碰到物體後反彈回來所需的時間。在機器人技術和汽車領域中，它們可用來判斷與物體之間的距離。

結構光

結構光感測器利用 3D 掃描器來測量物體的三維尺寸。高解析度與高精確度使其非常適合用於 3D 掃描與建模應用。

飛行時間 (ToF) 感測器

ToF 感測器運用深度感測技術來測量距離。它們反應快速且穩定可靠，因此非常適合用於手勢辨識、物體追蹤以及機器人導航等應用。

立體視覺感測器

立體視覺感測器使用兩個（或更多）感測器來模擬人類的雙眼視覺。高精度的深度感測、良好的空間解析度以及低成本，使其非常適合用於避障、3D 地圖建構和機器人導航等應用。

超音波感測器

超音波感測器價格低廉、易於使用，且能偵測多種材質，因此非常適合應用於停車輔助和物體偵測等情境。

Step 1: Overlay the data

• The first step is to calibrate and align all the sensor views, then overlay all of your data into a single view. This fused view gives your labeler more context, allowing it to tell what groups of point clouds represent.

Step 2: Label the 3D point clouds

• We advise that you label in 3D before projecting to 2D for a few reasons, even though it may seem counterintuitive. Labeling in 3D first often proves to be significantly more efficient, even if your primary interest is in obtaining 2D labels.
• Imagine you are driving past a stationary object like a traffic sign. Equipped with multiple cameras, this traffic sign remains visible in three of them as you pass by, spanning approximately 100 frames.
• Annotating this scenario using 2D bounding boxes would require you to label a total of 300 instances. However, in the 3D space, annotating this static, non-moving traffic sign would involve a single cuboid annotation.
• While labeling a 3D cuboid does take three times as long as annotating a 2D bounding box, it is still 100 times more efficient than labeling directly in the images.

Step 3: Project to 2D images

• Once you’ve labeled your 3D point clouds, you can calibrate and align them to your 2D image data. Segments.ai will automatically copy over object IDs to the 2D data, saving you hours of drawing bounding boxes. You only need to make minor adjustments during your quality control check.

越來越多自駕車與機器人公司在其機器學習（ML）模型中，正從後期融合方法轉向前期融合方法。

後期融合是指針對每個感測器分別運用獨立的機器學習模型，產生各自的輸出。這些輸出隨後會被合併或融合，以建立場景的完整 3D 呈現。這種方法會先獨立運行多個模型，然後再將它們的結果整合。

早期融合採用較現代的方式。與其為每個感測器分別建立模型，不如將所有感測器資料匯入單一機器學習模型。這個整合模型能夠直接在三維空間中進行預測。

為了讓早期融合發揮效用，體素網格被證明是場景的一種有利表徵方式。體素網格具有規則結構，非常適合這種方法。它們可以被視為張量，從而實現端到端的預測。整個流程，從輸入到輸出，都可以透過單一模型進行預測。