La IA física recopila datos del mundo real utilizando sensores, como cámaras, detección y medición de luz (LiDAR) y radar, para permitir que los modelos de IA implementados en sistemas autónomos y robots comprendan el espacio físico y así puedan desempeñarse en condiciones reales.

La fusión de sensores es el proceso de combinar datos de múltiples sensores para mejorar la precisión y la confiabilidad de la información. Al combinar información de diferentes tipos de sensores (como LiDAR, radar y cámaras), un sistema puede crear una imagen más completa del entorno. La fusión de sensores también puede reducir el impacto de errores o fallas en cualquier sensor individual. Esta tecnología se utiliza en diversas aplicaciones, incluyendo vehículos autónomos (AV) y robótica.

Una de las aplicaciones más comunes de la fusión de sensores es la combinación de varios sensores instalados en un robotaxi, incluyendo nubes de puntos 3D de los LiDAR y imágenes 2D de las cámaras delanteras, laterales y traseras.

Los sensores son dispositivos que detectan y responden a estímulos físicos, como la luz, el calor y el sonido. Distintos sensores utilizan diferentes tecnologías para cumplir sus funciones. Por ejemplo, los sensores LiDAR y de radar emplean láseres y ondas de radio para percibir su entorno, mientras que los sensores ultrasónicos utilizan ondas sonoras.

LiDAR (Detección y Medición por Luz)

Alta precisión, largo alcance y adquisición de datos rápida. El LiDAR es ideal para mapeo y evitación de obstáculos en vehículos autónomos y robots.

RADAR (Detección y Medición por Radio)

Los sensores de radar pueden detectar objetos a través de diversas condiciones climáticas y a largas distancias, lo que los hace ideales para aplicaciones como la prevención de colisiones y la conducción autónoma.

SONAR (Navegación y localización por sonido)

Los sensores de sonar emiten ondas sonoras y miden el tiempo que tardan en rebotar después de chocar contra un objeto. En robótica y automóviles, se pueden usar para determinar la distancia al objeto.

Luz estructurada

Los sensores de luz estructurada utilizan un escáner 3D para medir las dimensiones 3D de un objeto. Su alta resolución y precisión los hacen adecuados para aplicaciones de escaneo y mapeo 3D.

Sensor de tiempo de vuelo (ToF)

Los sensores ToF se utilizan para medir distancias mediante tecnología de detección de profundidad. Son rápidos y confiables, por lo que son una buena opción para aplicaciones de reconocimiento de gestos, seguimiento de objetos y navegación de robots.

Sensor de visión estéreo

Los sensores de visión estéreo utilizan dos (o más) sensores para simular la visión binocular humana. La detección de profundidad de alta precisión, la buena resolución espacial y el bajo costo hacen que sean adecuados para aplicaciones de evitación de obstáculos, mapeo 3D y navegación de robots.

Sensor ultrasónico

Los sensores ultrasónicos son económicos, fáciles de usar y pueden detectar una amplia variedad de materiales, lo que los hace adecuados para aplicaciones como la asistencia de estacionamiento y la detección de objetos.

Paso 1: Superpone los datos

• El primer paso es calibrar y alinear todas las vistas de los sensores, luego superponer todos tus datos en una sola vista. Esta vista fusionada le da a tu etiquetador más contexto, permitiéndole identificar qué grupos de nubes de puntos representan.

Paso 2: Etiquetá las nubes de puntos 3D

• Recomendamos que etiquetes en 3D antes de proyectar a 2D por varias razones, aunque pueda parecer contradictorio. Etiquetar primero en 3D suele resultar mucho más eficiente, incluso si tu interés principal es obtener etiquetas en 2D.
• Imaginá que estás manejando y pasás por un objeto fijo como una señal de tránsito. Equipada con varias cámaras, esta señal de tránsito sigue siendo visible en tres de ellas mientras pasás, abarcando aproximadamente 100 cuadros.
• Anotar este escenario utilizando cajas delimitadoras 2D requeriría que etiquetes un total de 300 instancias. Sin embargo, en el espacio 3D, anotar esta señal de tránsito estática y sin movimiento implicaría una sola anotación de cuboide.
• Si bien etiquetar un cuboide 3D lleva tres veces más tiempo que anotar una caja delimitadora 2D, sigue siendo 100 veces más eficiente que etiquetar directamente en las imágenes.

Paso 3: Proyectar a imágenes 2D

• Una vez que hayas etiquetado tus nubes de puntos 3D, podés calibrarlas y alinearlas con tus datos de imágenes 2D. Segments.ai copiará automáticamente los IDs de los objetos a los datos 2D, ahorrándote horas de trabajo dibujando cajas delimitadoras. Solo necesitás hacer ajustes menores durante tu control de calidad.

La transición de un enfoque de fusión tardía a uno de fusión temprana está volviéndose cada vez más común entre las empresas de vehículos autónomos y robótica en sus modelos de aprendizaje automático (ML).

La fusión tardía implica el uso de modelos de ML separados para cada sensor utilizado, los cuales generan salidas individuales. Estas salidas luego se combinan o fusionan para crear una representación 3D coherente de la escena. Consiste en ejecutar varios modelos de forma independiente y combinar sus resultados posteriormente.

La fusión temprana adopta un enfoque más contemporáneo. En lugar de utilizar modelos separados para cada sensor, todos los datos de los sensores se introducen en un único modelo de aprendizaje automático. Este modelo unificado está diseñado para hacer predicciones directamente dentro del espacio 3D.

Para que la fusión temprana sea efectiva, las cuadrículas de vóxeles resultan ser una representación ventajosa de la escena. Las cuadrículas de vóxeles presentan una estructura regular, lo que las hace adecuadas para este enfoque. Se pueden conceptualizar como tensores, lo que permite una predicción de extremo a extremo. Todo el proceso, desde la entrada hasta la salida, puede predecirse utilizando un solo modelo.