A IA física recolhe dados do mundo real através de sensores, como câmaras, deteção e medição de luz (LiDAR) e radar, para permitir que modelos de IA utilizados em sistemas autónomos e robôs compreendam o espaço físico e possam atuar em condições reais.

A fusão de sensores é o processo de combinar dados de vários sensores para melhorar a precisão e fiabilidade da informação. Ao reunir informações de diferentes tipos de sensores (como LiDAR, radar e câmaras), um sistema pode criar uma visão mais completa do ambiente. A fusão de sensores também pode reduzir o impacto de erros ou falhas em qualquer sensor individual. Esta tecnologia é utilizada em várias aplicações, incluindo veículos autónomos (AV) e robótica.

Uma das aplicações mais comuns da fusão de sensores é a combinação de vários sensores instalados num robotáxi, incluindo nuvens de pontos 3D provenientes de LiDARs e imagens 2D captadas pelas câmaras dianteiras, laterais e traseiras.

Os sensores são dispositivos que detetam e respondem a estímulos físicos, como luz, calor e som. Diferentes sensores utilizam tecnologias distintas para desempenhar as suas funções. Por exemplo, sensores LiDAR e de radar utilizam lasers e ondas de rádio para detetar o ambiente, enquanto sensores ultrassónicos utilizam ondas sonoras.

LiDAR (Deteção e Medição por Luz)

Alta precisão, longo alcance e aquisição rápida de dados. O LiDAR é ideal para mapeamento e deteção de obstáculos em veículos autónomos e robôs.

RADAR (Deteção e Localização por Rádio)

Os sensores de radar conseguem detetar objetos em várias condições meteorológicas e a longas distâncias, tornando-os ideais para aplicações como prevenção de colisões e condução autónoma.

SONAR (Navegação e Localização por Som)

Os sensores de sonar emitem ondas sonoras e medem o tempo que estas demoram a regressar após atingirem um objeto. Na robótica e na indústria automóvel, podem ser utilizados para determinar a distância ao objeto.

Luz estruturada

Os sensores de luz estruturada utilizam um scanner 3D para medir as dimensões tridimensionais de um objeto. A elevada resolução e precisão tornam-nos adequados para aplicações de digitalização e mapeamento 3D.

Sensor Time-of-Flight (ToF)

Os sensores ToF são utilizados para medir distâncias com tecnologia de deteção de profundidade. São rápidos e fiáveis, sendo por isso uma boa opção para reconhecimento de gestos, acompanhamento de objetos e aplicações de navegação robótica.

Sensor de visão estéreo

Os sensores de visão estéreo utilizam dois (ou mais) sensores para simular a visão binocular humana. A deteção de profundidade de alta precisão, a boa resolução espacial e o baixo custo tornam-nos adequados para aplicações de prevenção de obstáculos, mapeamento 3D e navegação de robôs.

Sensor ultrassónico

Os sensores ultrassónicos são económicos, fáceis de utilizar e conseguem detetar uma grande variedade de materiais, tornando-os adequados para aplicações como assistência ao estacionamento e deteção de objetos.

Passo 1: Sobrepor os dados

• O primeiro passo é calibrar e alinhar todas as vistas dos sensores e, em seguida, sobrepor todos os seus dados numa única vista. Esta vista combinada oferece ao anotador mais contexto, permitindo identificar a que grupos pertencem as nuvens de pontos.

Passo 2: Rotule as nuvens de pontos 3D

• Aconselhamos que faça a rotulagem em 3D antes de projetar para 2D por vários motivos, mesmo que possa parecer contraintuitivo. Rotular primeiro em 3D revela-se frequentemente muito mais eficiente, mesmo que o seu principal objetivo seja obter rótulos em 2D.
• Imagine que está a conduzir junto a um objeto fixo, como um sinal de trânsito. Equipado com várias câmaras, este sinal de trânsito permanece visível em três delas à medida que passa, abrangendo aproximadamente 100 fotogramas.
• Anotar este cenário utilizando caixas delimitadoras 2D exigiria que rotulasse um total de 300 instâncias. No entanto, no espaço 3D, anotar este sinal de trânsito estático e imóvel envolveria apenas uma anotação em forma de cubo.
• Embora rotular um cuboide 3D demore três vezes mais do que anotar uma caixa delimitadora 2D, continua a ser 100 vezes mais eficiente do que rotular diretamente nas imagens.

Passo 3: Projetar para imagens 2D

• Depois de rotular as suas nuvens de pontos 3D, pode calibrá-las e alinhá-las com os seus dados de imagem 2D. O Segments.ai irá copiar automaticamente os IDs dos objetos para os dados 2D, poupando-lhe horas a desenhar caixas delimitadoras. Só precisa de fazer pequenos ajustes durante a verificação de controlo de qualidade.

A transição de uma abordagem de fusão tardia para uma abordagem de fusão precoce está a tornar-se cada vez mais comum entre as empresas de veículos autónomos e de robótica nos seus modelos de aprendizagem automática (ML).

A fusão tardia envolve a utilização de modelos de ML separados para cada sensor utilizado, que geram resultados individuais. Estes resultados são depois combinados ou fundidos para criar uma representação 3D coerente da cena. Consiste em executar vários modelos de forma independente e combinar os seus resultados posteriormente.

A fusão precoce adota uma abordagem mais contemporânea. Em vez de utilizar modelos separados para cada sensor, todos os dados dos sensores são introduzidos num único modelo de ML. Este modelo unificado é concebido para fazer previsões diretamente no espaço 3D.

Para que a fusão precoce seja eficaz, as grelhas de vóxeis revelam-se uma representação vantajosa da cena. As grelhas de vóxeis apresentam uma estrutura regular, tornando-as adequadas para esta abordagem. Podem ser conceptualizadas como tensores, permitindo uma previsão de ponta a ponta. Todo o processo, desde a entrada até à saída, pode ser previsto utilizando um único modelo.