物理人工智能通过摄像头、激光雷达（LiDAR）、雷达等传感器收集真实世界的数据，使部署在自动化系统和机器人上的人工智能模型能够理解物理空间，从而在现实环境中执行任务。

传感器融合是将来自多个传感器的数据进行整合，以提升信息的准确性和可靠性。通过整合不同类型传感器（如激光雷达、雷达和摄像头）采集的信息，系统能够更全面地感知周围环境。传感器融合还可以降低单个传感器出现错误或故障时带来的影响。这项技术广泛应用于自动驾驶车辆和机器人等多个领域。

传感器融合最常见的应用之一，是将安装在自动驾驶出租车上的多种传感器数据进行整合，包括来自激光雷达的三维点云，以及来自前方、侧面和后方摄像头的二维图像。

传感器是一种能够检测并响应物理刺激（如光、热和声音）的设备。不同类型的传感器采用不同的技术来实现其功能。例如，激光雷达和雷达传感器分别利用激光和无线电波感知周围环境，而超声波传感器则利用声波进行感知。

激光雷达（光探测与测距）

高精度、远距离以及快速数据采集。激光雷达非常适合自动驾驶车辆和机器人中的地图构建与障碍物规避。

雷达（无线电探测与测距）

雷达传感器能够在多种天气条件下以及较远距离内探测物体，非常适合用于防碰撞和自动驾驶等场景。

声呐（声波导航与测距）

声纳传感器会发射声波，并测量声波遇到物体后反射回来的时间。在机器人和汽车领域，它们可用于测量与物体之间的距离。

结构光

结构光传感器利用三维扫描仪测量物体的三维尺寸。其高分辨率和高精度使其非常适用于三维扫描和建图应用。

飞行时间 (ToF) 传感器

ToF 传感器利用深度感知技术进行距离测量。它们响应迅速且稳定可靠，非常适用于手势识别、物体追踪和机器人导航等应用场景。

立体视觉传感器

立体视觉传感器利用两个（或更多）传感器模拟人类的双眼视觉。高精度的深度感知、良好的空间分辨率以及低成本，使其适用于避障、三维建图和机器人导航等应用。

超声波传感器

超声波传感器成本低廉，易于使用，能够检测多种材料，非常适合用于如泊车辅助和物体检测等场景。

第 1 步：叠加数据

• 第一步是校准并对齐所有传感器视角，然后将所有数据叠加到一个视图中。这个融合视图为标注员提供了更多上下文信息，从而能够判断各点云组所代表的内容。

步骤 2：为 3D 点云添加标签

• 我们建议您先在三维空间中进行标注，再投影到二维空间，原因有几点，尽管这看起来可能有些反直觉。即使您的主要需求是获取二维标注，先在三维空间中标注通常会显著提升效率。
• 想象一下，当你开车经过一个静止物体，比如交通标志时。由于配备了多台摄像头，这个交通标志在你经过时会同时出现在其中三台摄像头的画面中，持续大约 100 帧。
• 在这种情况下，使用二维边界框进行标注需要对总共 300 个实例进行标注。而在三维空间中，对这个静止不动的交通标志进行标注时，只需绘制一个立方体标注即可。
• 虽然标注一个三维立方体所需的时间是标注二维边界框的三倍，但其效率仍然比直接在图像中标注高出一百倍。

第 3 步：投影为二维图像

• 在为您的 3D 点云添加标签后，您可以将其与 2D 图像数据进行校准和对齐。Segments.ai 会自动将对象 ID 复制到 2D 数据中，为您节省大量绘制边界框的时间。您只需在质检时进行少量调整即可。

越来越多自动驾驶和机器人公司在其机器学习（ML）模型中，从后期融合方法转向前期融合方法。

后期融合是指为每个所用传感器分别使用独立的机器学习模型，生成各自的输出。随后，这些输出会被合并或融合，以构建场景的统一三维表示。这一方法需要独立运行多个模型，并在之后将它们的结果进行整合。

早期融合采用了更为现代的方法。不再为每个传感器分别使用不同的模型，而是将所有传感器数据输入到同一个机器学习模型中。这个统一的模型能够直接在三维空间内进行预测。

为了实现高效的早期融合，体素网格是一种非常有利的场景表示方式。体素网格结构规则，非常适合这种方法。它们可以被视为张量，从而支持端到端的预测。整个流程，从输入到输出，都可以通过单一模型进行预测。