L’IA incarnée recueille des données du monde réel à l’aide de capteurs, comme des caméras, des systèmes de détection et de télémétrie par la lumière (LiDAR) et des radars, afin de permettre aux modèles d’IA déployés dans des systèmes autonomes et des robots de comprendre l’espace physique et ainsi fonctionner dans des conditions réelles.

La fusion de capteurs est le processus consistant à combiner des données provenant de plusieurs capteurs afin d’améliorer la précision et la fiabilité de l’information. En combinant des données provenant de différents types de capteurs (comme le LiDAR, le radar et les caméras), un système peut dresser un portrait plus complet de l’environnement. La fusion de capteurs peut aussi réduire l’impact des erreurs ou des défaillances d’un capteur pris individuellement. Cette technologie est utilisée dans divers domaines, notamment les véhicules autonomes (VA) et la robotique.

L’une des applications les plus courantes de la fusion de capteurs consiste à combiner divers capteurs montés sur un robotaxi, notamment des nuages de points 3D provenant de lidars et des images 2D issues de caméras avant, latérales et arrière.

Les capteurs sont des appareils qui détectent et réagissent à des stimuli physiques, tels que la lumière, la chaleur et le son. Différents capteurs utilisent des technologies différentes pour accomplir leurs fonctions. Par exemple, les capteurs LiDAR et radar utilisent des lasers et des ondes radio pour percevoir leur environnement, tandis que les capteurs ultrasoniques utilisent des ondes sonores.

LiDAR (détection et télémétrie par ondes lumineuses)

Haute précision, longue portée et acquisition rapide de données. Le LiDAR est idéal pour la cartographie et l'évitement d'obstacles dans les véhicules autonomes et les robots.

RADAR (radiodétection et télémétrie)

Les capteurs radar peuvent détecter des objets dans diverses conditions météorologiques et à de longues distances, ce qui les rend idéaux pour des applications telles que la prévention des collisions et la conduite autonome.

SONAR (Navigation et télémétrie acoustiques)

Les capteurs à ultrasons émettent des ondes sonores et mesurent le temps que mettent ces ondes à revenir après avoir heurté un objet. En robotique et dans le secteur automobile, ils peuvent être utilisés pour déterminer la distance à l’objet.

Lumière structurée

Les capteurs à lumière structurée utilisent un numériseur 3D pour mesurer les dimensions 3D d'un objet. Leur haute résolution et leur grande précision les rendent adaptés aux tâches de numérisation 3D et de cartographie.

Capteur de temps de vol (ToF)

Les capteurs de temps de vol (ToF) sont utilisés pour mesurer la distance au moyen d’une technologie de détection de profondeur. Rapides et fiables, ils constituent un bon choix pour la reconnaissance gestuelle, le suivi d’objets et les applications de navigation robotique.

Capteur de vision stéréo

Les capteurs de vision stéréoscopique s’appuient sur deux (ou plus) capteurs pour simuler la vision binoculaire humaine. Leur détection de profondeur de haute précision, leur bonne résolution spatiale et leur faible coût les rendent adaptés à l’évitement d’obstacles, à la cartographie 3D et aux applications de navigation robotique.

Capteur à ultrasons

Les capteurs ultrasoniques sont économiques, faciles à utiliser et peuvent détecter un large éventail de matériaux, ce qui les rend adaptés à des applications comme l’aide au stationnement et la détection d’objets.

Étape 1 : Superposer les données

• La première étape consiste à calibrer et à aligner toutes les vues des capteurs, puis à superposer l’ensemble de vos données dans une vue unique. Cette vue fusionnée donne davantage de contexte à votre annotateur, ce qui lui permet de déterminer ce que représentent les groupes de nuages de points.

Étape 2 : Annotez les nuages de points 3D

• Nous vous recommandons d’annoter en 3D avant de projeter en 2D pour plusieurs raisons, même si cela peut sembler contre-intuitif. L’annotation d’abord en 3D s’avère souvent nettement plus efficace, même si votre objectif principal est d’obtenir des annotations 2D.
• Imaginez que vous passez en voiture devant un objet immobile, comme un panneau de signalisation. Si plusieurs caméras sont utilisées, ce panneau reste visible dans trois d'entre elles lorsque vous passez, sur environ 100 images.
• Annoter ce scénario à l’aide de boîtes englobantes 2D vous demanderait d’étiqueter un total de 300 instances. Cependant, dans l’espace 3D, annoter ce panneau de signalisation statique et immobile ne nécessiterait qu’une seule annotation cuboïde.
• Même si l’annotation d’un cuboïde 3D prend trois fois plus de temps que celle d’une boîte englobante 2D, elle reste 100 fois plus efficace que d’annoter directement sur les images.

Étape 3: Projeter en images 2D

• Une fois que vous avez annoté vos nuages de points 3D, vous pouvez les calibrer et les aligner sur vos données d’images 2D. Segments.ai copiera automatiquement les identifiants d’objet dans les données 2D, vous évitant de passer des heures à tracer des boîtes englobantes. Vous n’aurez qu’à apporter de légers ajustements lors de votre contrôle de qualité.

La transition d’une approche de fusion tardive à une approche de fusion précoce devient de plus en plus répandue parmi les entreprises de véhicules autonomes et de robotique dans leurs modèles d’apprentissage automatique (AA).

La fusion tardive consiste à utiliser des modèles d’apprentissage automatique distincts pour chaque capteur utilisé, ce qui génère des sorties individuelles. Ces sorties sont ensuite fusionnées pour créer une représentation 3D cohérente de la scène. Cela revient à exécuter plusieurs modèles de manière indépendante, puis à combiner leurs résultats par la suite.

La fusion précoce adopte une approche plus moderne. Plutôt que d'utiliser des modèles distincts pour chaque capteur, toutes les données des capteurs sont regroupées dans un seul modèle d'apprentissage automatique. Ce modèle unifié est conçu pour effectuer directement des prédictions dans l'espace 3D.

Pour que la fusion précoce soit efficace, les grilles de voxels s’avèrent être une représentation avantageuse de la scène. Les grilles de voxels présentent une structure régulière, ce qui les rend bien adaptées à cette approche. On peut les modéliser sous forme de tenseurs, ce qui permet une prédiction de bout en bout. L’ensemble du processus, de l’entrée à la sortie, peut être prédit à l’aide d’un seul modèle.