實體 AI 利用感測器（如攝影機、光達（LiDAR）和雷達）蒐集現實世界的數據，讓部署於自動化系統和機器人的 AI 模型能夠理解實體空間，從而在真實環境中執行任務。

感測器融合是將多個感測器的資料結合，以提升資訊的準確性與可靠性。透過整合不同類型感測器（如 LiDAR、雷達與攝影機）所獲得的資訊，系統能夠建立更完整的環境圖像。感測器融合也能降低單一感測器發生錯誤或故障時的影響。這項技術廣泛應用於自駕車（AV）及機器人等領域。

感測器融合最常見的應用之一，是結合安裝於自動駕駛計程車上的各種感測器，包括來自 LiDAR 的 3D 點雲，以及來自前方、側邊和後方攝影機的 2D 影像。

感測器是一種能夠偵測並回應物理刺激（如光、熱和聲音）的裝置。不同的感測器會運用不同的技術來執行其功能。例如，LiDAR 和雷達感測器分別利用雷射與無線電波來感知周遭環境，而超音波感測器則是利用聲波進行偵測。

LiDAR（光學雷達，光學偵測與測距技術）

高精度、長距離且快速的數據擷取。LiDAR 非常適合自動駕駛車輛與機器人的地圖建立與障礙物偵測。

雷達（無線電探測與測距）

雷達感測器能夠在各種天氣條件下及遠距離偵測物體，非常適合用於防碰撞與自動駕駛等應用。

聲納（聲音導航與測距）

聲納感測器會發射聲波，並測量聲波碰到物體後反彈回來所需的時間。在機器人技術和汽車領域中，它們可用來判斷與物體之間的距離。

結構光

結構光感測器利用 3D 掃描器來測量物體的三維尺寸。高解析度與高精確度使其非常適合用於 3D 掃描與建模應用。

飛行時間 (ToF) 感測器

ToF 感測器運用深度感測技術來測量距離。它們反應快速且穩定可靠，因此非常適合用於手勢辨識、物體追蹤以及機器人導航等應用。

立體視覺感測器

立體視覺感測器使用兩個（或更多）感測器來模擬人類的雙眼視覺。高精度的深度感測、良好的空間解析度以及低成本，使其非常適合用於避障、3D 地圖建構和機器人導航等應用。

超音波感測器

超音波感測器價格低廉、易於使用，且能偵測多種材質，因此非常適合應用於停車輔助和物體偵測等情境。

步驟 1：疊加資料

• 首先，校正並對齊所有感應器畫面，再將所有資料疊加到同一個畫面中。融合後的畫面可提供更多背景資訊，協助標記人員判斷各組點雲代表什麼物體。

步驟 2：標記 3D 點雲

• 雖然乍看之下有些違反直覺，但基於幾個原因，我們建議先在 3D 中完成標記，再投影至 2D。即使您的主要目的是取得 2D 標記，先進行 3D 標記通常也會大幅提升效率。
• 想像一下，您正開車經過一個固定不動的物體，例如交通標誌。由於車上配備多台攝影機，當您駛過時，這個交通標誌會持續出現在其中三個攝影機的畫面中，並橫跨約 100 個影格。
• 若使用 2D 邊界框註解此情境，您總共需要標記 300 個實例。然而，在 3D 空間中，註解這個靜止不動的交通標誌，只需要建立一個長方體框註解即可。
• 雖然標記一個 3D 長方體框所需的時間約為註解一個 2D 邊界框的三倍，但與直接在影像中進行標記相比，效率仍高出 100 倍。

步驟 3：投影至 2D 影像

• 完成 3D 點雲標記後，即可校正並對齊至 2D 影像資料。Segments.ai 會自動將物件 ID 複製到 2D 資料中，為您省下數小時繪製邊界框的時間。您只需在品質控制檢查時進行微調即可。

越來越多自駕車與機器人公司在其機器學習（ML）模型中，正從後期融合方法轉向前期融合方法。

後期融合是指針對每個感測器分別運用獨立的機器學習模型，產生各自的輸出。這些輸出隨後會被合併或融合，以建立場景的完整 3D 呈現。這種方法會先獨立運行多個模型，然後再將它們的結果整合。

早期融合採用較現代的方式。與其為每個感測器分別建立模型，不如將所有感測器資料匯入單一機器學習模型。這個整合模型能夠直接在三維空間中進行預測。

為了讓早期融合發揮效用，體素網格被證明是場景的一種有利表徵方式。體素網格具有規則結構，非常適合這種方法。它們可以被視為張量，從而實現端到端的預測。整個流程，從輸入到輸出，都可以透過單一模型進行預測。