Passer au contenu principal

Comment l'annotation évolutive pour la fusion de capteurs 3D alimente l'IA physique

Les données à l'origine de l'intelligence physique

Chaque véhicule autonome qui dévie pour éviter un obstacle, chaque robot qui navigue sur le plancher d’usine et chaque drone de livraison qui se pose sur une cible en mouvement reposent sur une seule chose : des données annotées de haute qualité. Concevoir des machines capables de comprendre le monde physique exige plus que des données brutes. À mesure que l’IA physique gagne en complexité, sa chaîne de traitement des données se complexifie elle aussi. La robotique et les systèmes autonomes doivent interpréter en temps réel des entrées provenant de caméras, de lidars, de radars, d’IMU et de capteurs GPS. C’est là que l’annotation pour la fusion 3D des capteurs devient extrêmement importante pour la mission.

Le défi de la perception dans les systèmes d'IA physiques

Les systèmes modernes d’IA appliqués au monde physique reposent sur une perception multimodale, ce qui signifie voir, détecter et comprendre leurs environnements complexes. Mais les données brutes qu’ils recueillent sont désordonnées. Par exemple :

  • Nuages de points LiDAR comptant des millions de points par trame.


  • Des échos radar qui mesurent la profondeur et la vitesse, mais pas la forme.


  • Flux vidéo provenant de caméras RGB ou infrarouges.


  • Signaux inertiels et GPS qui nécessitent un alignement temporel.


Lorsque ces flux de données sont isolés, les machines voient des fragments déconnectés. Réunir ces flux dans un ensemble de données unifié exige un pipeline de fusion et une équipe qui comprend la géométrie 3D, les repères de coordonnées et l'étalonnage des capteurs. L'annotation pour la fusion de capteurs 3D tisse ces entrées disparates en une réalité unique, cohérente et tridimensionnelle.

L'importance de l'annotation pour la fusion de capteurs

L’annotation par fusion de capteurs combine des données issues de plusieurs modalités pour créer une représentation plus riche du monde physique. Ces modalités comprennent le LiDAR, le radar et la vidéo.

Pour les applications de l'IA dans le monde physique, comme la robotique et les véhicules autonomes, cela signifie :


  • Précision de détection d’objets plus élevée en cas de faible luminosité ou de conditions météorologiques défavorables.


  • Estimation améliorée de la profondeur et de la vitesse.


  • Une compréhension de la scène plus robuste grâce au recoupement des données de capteurs.


  • Moins d’angles morts et de défaillances dans les cas limites.

Surmonter les goulots d’étranglement

L'annotation des données 3D nécessite des outils spécialisés et une expertise:

  • Les boîtes englobantes 3D et la segmentation sémantique doivent s'aligner précisément sur les matrices d'étalonnage des capteurs.


  • La synchronisation temporelle de plusieurs capteurs offre des trames représentant le même instant.


  • La gestion des occlusions et le suivi multi-images déterminent si un objet réapparaît ou sort du champ de vision.


  • La cohérence des annotations et l’accord entre annotateurs (IAA) affectent directement les performances du modèle.

En raison de la complexité, les entreprises peuvent se heurter à des goulots d’étranglement lors de l’entraînement de modèles de perception, comme des résultats insuffisants, une capacité limitée ou de longs délais. L’utilisation d’outils spécialisés et de l’expertise requise pour annoter des données 3D est essentielle.

Des données brutes à la perception du monde réel

L'IA physique n'est aussi performante que les données du monde réel qui sont recueillies et étiquetées pour lui apprendre à voir et à agir. En fusionnant une technologie avancée d'étiquetage des capteurs avec un réseau humain mondial et des cadres rigoureux d'assurance qualité, Uber AI Solutions aide les entreprises à faire passer l'IA physique du projet pilote à la production. Nous offrons des systèmes de données multimodaux conçus pour saisir l'éventail complet des conditions du monde réel, y compris les cas rares et imprévisibles.

Créons une meilleure
IA ensemble


Parlez-nous de votre projet. Nous vous montrerons
les données qui vous permettront d'y arriver.

Créons une meilleure
IA ensemble


Parlez-nous de votre projet. Nous vous montrerons
les données qui vous permettront d'y arriver.