Füüsiline tehisintellekt kogub reaalmaailma andmeid sensorite abil, nagu kaamerad, valguse tuvastamise ja kauguse mõõtmise süsteemid (LiDAR) ning radarid, et võimaldada autonoomsetes süsteemides ja robotites kasutatavatel tehisintellektimudelitel mõista füüsilist ruumi ning toimida reaalsetes tingimustes.

Andurite liitmine on protsess, mille käigus ühendatakse andmeid mitmest andurist, et parandada teabe täpsust ja usaldusväärsust. Erinevat tüüpi andurite (näiteks LiDAR, radari ja kaamerate) teabe ühendamisega saab süsteem luua ümbritsevast keskkonnast terviklikuma pildi. Andurite liitmine aitab samuti vähendada üksiku anduri vigade või rikete mõju. Seda tehnoloogiat kasutatakse mitmesugustes rakendustes, sealhulgas autonoomsetes sõidukites (AV) ja robootikas.

Üks levinumaid sensorite ühendamise rakendusi on erinevate andurite kombineerimine robotaksodel, sealhulgas 3D-pilved LiDAR-anduritest ning 2D-pildid esi-, külg- ja tagakaameratest.

Andurid on seadmed, mis tuvastavad ja reageerivad füüsilistele stiimulitele, nagu valgus, soojus ja heli. Erinevad andurid kasutavad oma funktsioonide täitmiseks erinevaid tehnoloogiaid. Näiteks LiDAR- ja radariandurid kasutavad oma keskkonna tajumiseks lasereid ja raadiolaineid, samas kui ultraheliandurid kasutavad helilaineid.

LiDAR (Light Detection and Ranging)

High accuracy, long-range, and fast data acquisition. LiDAR is ideal for mapping and obstacle avoidance in AV and robots.

RADAR (Radio Detection and Ranging)

Radar sensors can detect objects through various weather conditions and at long distances, making them ideal for applications such as collision avoidance and autonomous driving.

SONAR (Sound Navigation and Ranging)

Sonar sensors emit sound waves and measure the time it takes for the waves to bounce back after hitting an object. In robotics and automotive they can be used to determine the distance to the object.

Structured light

Structured light sensors use a 3D scanner to measure the 3D dimensions of an object. High resolution and accuracy make them suitable for 3D scanning and mapping applications.

Time-of-Flight (ToF) sensor

ToF sensors are used for measuring distance with depth sensing technology. They are fast and reliable, so they are a good choice for gesture recognition, object tracking, and robot navigation applications.

Stereo vision sensor

Stereo vision sensors use two (or more) sensors to simulate human binocular vision. High precision depth sensing, good spatial resolution, and low cost make these suitable for obstacle avoidance, 3D mapping, and robot navigation applications.

Ultrasonic sensor

Ultrasonic sensors are low-cost, easy to use, and can detect a wide range of materials, making them suitable for applications such as parking assistance and object detection.

Samm 1: Kata andmed üle

• Esimene samm on kõigi sensorivaadete kalibreerimine ja joondamine, seejärel kogu sinu andmete ühtsesse vaatesse koondamine. See ühendatud vaade annab märgistajale rohkem konteksti, võimaldades tal tuvastada, milliseid punktipilvede gruppe need kujutavad.

Samm 2: Märgista 3D punktipilved

• Soovitame esmalt märgistada 3D-s enne 2D-le projitseerimist mitmel põhjusel, isegi kui see võib tunduda ebaloogiline. Märgistamine esmalt 3D-s osutub sageli märkimisväärselt tõhusamaks, isegi kui sinu peamine huvi on saada 2D-märgiseid.
• Kujutle, et sõidad mööda paigalolevast objektist, näiteks liiklusmärgist. Mitme kaameraga varustatud liiklusmärk jääb möödasõidu ajal kolmes neist kaameratest nähtavaks umbes 100 kaadri ulatuses.
• Selle stsenaariumi märgistamine 2D piirjoontega nõuaks kokku 300 eksemplari märgistamist. Kuid 3D-ruumis tähendaks selle staatilise, liikumatu liiklusmärgi märgistamine vaid ühe kuubiku lisamist.
• Kuigi 3D-kuubi märgistamine võtab kolm korda rohkem aega kui 2D-piirkonna märgistamine, on see siiski 100 korda tõhusam kui otse piltidel märgistamine.

Samm 3: Projektsioon 2D-piltidele

• Kui oled oma 3D punktipilved märgistanud, saad need kalibreerida ja joondada oma 2D pildianmetega. Segments.ai kopeerib automaatselt objektide ID-d 2D andmetesse, säästes sulle tunde, mis muidu kuluks piiritluskarpide joonistamisele. Kvaliteedikontrolli käigus on vaja teha vaid väikeseid kohandusi.

Üleminek hilise liitmise lähenemisviisilt varajase liitmise lähenemisviisile muutub isesõitvate sõidukite (AV) juures ja robootikaettevõtete masinõppemudelites üha levinumaks.

Hiline liitmine tähendab seda, et iga kasutatud anduri jaoks kasutatakse eraldi masinõppe mudeleid, mis loovad individuaalsed väljundid. Need väljundid ühendatakse või liidetakse, et moodustada keskkonnast ühtne 3D-kujutis. See tähendab, et mitu mudelit töötavad iseseisvalt ning nende tulemused ühendatakse hiljem.

Varajane liitmine kasutab kaasaegsemat lähenemist. Selle asemel, et iga anduri jaoks kasutada eraldi mudeleid, suunatakse kõikide andurite andmed ühte masinõppe mudelisse. See ühtne mudel on loodud tegema ennustusi 3D-ruumi siseselt.

Varajase andmeühendamise tõhusaks rakendamiseks on vokselvõrgud sobiv ja eelistatud keskkonnaesituse vorm. Vokselvõrgud on korrapärase struktuuriga, mis muudab need sellele lähenemisele hästi sobivaks. Neid saab kujutada tensoritena, võimaldades masinõppemudelil teha ennustusi otsast lõpuni. Kogu protsessi, sisendist väljundini, saab ennustada ühe mudeliga.