La IA física recopila datos del mundo real utilizando sensores, como cámaras, detección y medición de luz (LiDAR) y radar, para permitir que los modelos de IA implementados en sistemas autónomos y robots comprendan el espacio físico y así puedan desempeñarse en condiciones reales.

La fusión de sensores es el proceso de combinar datos de múltiples sensores para mejorar la precisión y confiabilidad de la información. Al unir información de diferentes tipos de sensores (como LiDAR, radar y cámaras), un sistema puede crear una visión más completa del entorno. La fusión de sensores también puede reducir el impacto de errores o fallas en cualquier sensor individual. Esta tecnología se utiliza en diversas aplicaciones, incluyendo vehículos autónomos (AV) y robótica.

Una de las aplicaciones más comunes de la fusión de sensores es la combinación de varios sensores instalados en un robotaxi, incluyendo nubes de puntos 3D de los LiDAR y imágenes 2D de cámaras frontales, laterales y traseras.

Los sensores son dispositivos que detectan y responden a estímulos físicos, como la luz, el calor y el sonido. Diferentes sensores utilizan distintas tecnologías para realizar sus funciones. Por ejemplo, los sensores LiDAR y de radar emplean láseres y ondas de radio para percibir su entorno, mientras que los sensores ultrasónicos utilizan ondas sonoras.

LiDAR (Detección y Medición por Luz)

Alta precisión, largo alcance y adquisición rápida de datos. LiDAR es ideal para mapeo y detección de obstáculos en vehículos autónomos y robots.

RADAR (Detección y Medición por Radio)

Los sensores de radar pueden detectar objetos en diversas condiciones climáticas y a largas distancias, lo que los hace ideales para usos como la prevención de colisiones y la conducción autónoma.

SONAR (Navegación y localización por sonido)

Los sensores de sonar emiten ondas sonoras y miden el tiempo que tardan en regresar después de chocar con un objeto. En robótica y automóviles, pueden utilizarse para determinar la distancia al objeto.

Luz estructurada

Los sensores de luz estructurada utilizan un escáner 3D para medir las dimensiones tridimensionales de un objeto. Su alta resolución y precisión los hacen adecuados para aplicaciones de escaneo y mapeo en 3D.

Sensor de tiempo de vuelo (ToF)

Los sensores ToF se utilizan para medir distancias mediante tecnología de detección de profundidad. Son rápidos y confiables, por lo que son una excelente opción para el reconocimiento de gestos, el seguimiento de objetos y aplicaciones de navegación robótica.

Sensor de visión estéreo

Los sensores de visión estéreo utilizan dos (o más) sensores para simular la visión binocular humana. La detección de profundidad de alta precisión, la buena resolución espacial y el bajo costo hacen que sean adecuados para aplicaciones de evitación de obstáculos, mapeo 3D y navegación de robots.

Sensor ultrasónico

Los sensores ultrasónicos son económicos, fáciles de usar y pueden detectar una amplia variedad de materiales, lo que los hace adecuados para crear una cuenta como asistencia de estacionamiento y detección de objetos.

Paso 1: Superpone los datos

• El primer paso es calibrar y alinear todas las vistas de los sensores, luego superponer todos tus datos en una sola vista. Esta vista fusionada le da a quien etiqueta más contexto, permitiéndole identificar qué grupos de nubes de puntos representan.

Paso 2: Etiqueta las nubes de puntos 3D

• Te recomendamos que etiquetes en 3D antes de proyectar a 2D por varias razones, aunque pueda parecer contradictorio. Etiquetar primero en 3D suele ser mucho más eficiente, incluso si tu principal interés es obtener etiquetas en 2D.
• Imagina que conduces junto a un objeto fijo, como una señal de tránsito. Equipada con varias cámaras, esta señal de tránsito permanece visible en tres de ellas mientras pasas, abarcando aproximadamente 100 cuadros.
• Anotar este escenario utilizando recuadros delimitadores en 2D requeriría que etiquetaras un total de 300 instancias. Sin embargo, en el espacio 3D, anotar esta señal de tránsito estática y sin movimiento implicaría una sola anotación de cuboide.
• Aunque etiquetar un cuboide 3D toma tres veces más tiempo que anotar una caja delimitadora 2D, sigue siendo 100 veces más eficiente que etiquetar directamente en las imágenes.

Paso 3: Proyectar a imágenes 2D

• Una vez que hayas etiquetado tus nubes de puntos 3D, puedes calibrarlas y alinearlas con tus datos de imagen 2D. Segments.ai copiará automáticamente los ID de los objetos a los datos 2D, ahorrándote horas de dibujar recuadros delimitadores. Solo necesitas hacer pequeños ajustes durante tu revisión de control de calidad.

La transición de un enfoque de fusión tardía a uno de fusión temprana es cada vez más común entre las empresas de vehículos autónomos y robótica en sus modelos de aprendizaje automático (machine learning, ML).

La fusión tardía implica el uso de modelos de aprendizaje automático independientes para cada sensor utilizado, que generan resultados individuales. Estos resultados se combinan o fusionan posteriormente para crear una representación 3D coherente de la escena. Consiste en ejecutar varios modelos de forma independiente y combinar sus resultados al final.

La fusión temprana adopta un enfoque más contemporáneo. En lugar de utilizar modelos separados para cada sensor, todos los datos de los sensores se integran en un solo modelo de aprendizaje automático. Este modelo unificado está diseñado para hacer predicciones directamente dentro del espacio 3D.

Para que la fusión temprana sea efectiva, la cuadrícula de vóxeles resulta ser una representación ventajosa de la escena. La cuadrícula de vóxeles presenta una estructura regular, lo que la hace adecuada para este enfoque. Se puede conceptualizar como tensores, lo que permite la predicción de extremo a extremo. Todo el proceso, desde la entrada hasta la salida, puede predecirse utilizando un solo modelo.