Fyzická umělá inteligence shromažďuje data z reálného světa pomocí senzorů, jako jsou kamera, lidar a radar, aby umožnila modelům umělé inteligence nasazeným v autonomních systémech a robotech porozumět fyzickému prostoru a mohly tak fungovat v reálných podmínkách.

Slučování senzorů je proces, při kterém se kombinují data z více senzorů za účelem zvýšení přesnosti a spolehlivosti informací. Spojením údajů z různých typů senzorů (například LiDARu, radaru a kamer) může systém vytvořit komplexnější obraz okolního prostředí. Slučování senzorů také pomáhá snižovat dopad chyb nebo selhání jednotlivých senzorů. Tato technologie se využívá v různých oblastech, včetně autonomních vozidel (AV) a robotiky.

Jedním z nejběžnějších využití senzorové fúze je kombinace různých senzorů umístěných na robotaxi, včetně 3D bodových mračen z LiDARů a 2D snímků z předních, bočních a zadních kamer.

Senzory jsou zařízení, která detekují a reagují na fyzikální podněty, jako je světlo, teplo a zvuk. Různé senzory využívají různé technologie k plnění svých funkcí. Například LiDAR a radarové senzory používají lasery a rádiové vlny k vnímání svého okolí, zatímco ultrazvukové senzory využívají zvukové vlny.

LiDAR (detekce a měření vzdálenosti pomocí světla)

Vysoce přesné, dlouhého dosahu a rychlé získávání dat. LiDAR je ideální pro mapování a vyhýbání se překážkám v autonomních vozidlech a robotech.

RADAR (Radio Detection and Ranging)

Radarové senzory dokážou detekovat objekty za různých povětrnostních podmínek a na velké vzdálenosti, což je činí ideálními pro použití například při prevenci kolizí a autonomním řízení.

SONAR (zvuková navigace a určování vzdálenosti)

Sonarové senzory vysílají zvukové vlny a měří čas, za který se vlny odrazí zpět po nárazu na objekt. V robotice a automobilovém průmyslu je lze použít k určení vzdálenosti k objektu.

Strukturované světlo

Senzory se strukturovaným světlem využívají 3D skener k měření trojrozměrných rozměrů objektu. Vysoké rozlišení a přesnost je činí vhodnými pro aplikace 3D skenování a mapování.

Senzor Time-of-Flight (ToF)

ToF senzory se používají k měření vzdálenosti pomocí technologie snímání hloubky. Jsou rychlé a spolehlivé, takže jsou vhodnou volbou pro rozpoznávání gest, sledování objektů a navigaci robotů.

Stereovizuální senzor

Stereovizuální senzory používají dva (nebo více) senzory k simulaci lidského binokulárního vidění. Vysoká přesnost měření hloubky, dobré prostorové rozlišení a nízké náklady činí tyto senzory vhodnými pro vyhýbání se překážkám, 3D mapování a navigaci robotů.

Ultrazvukový senzor

Ultrazvukové senzory jsou cenově dostupné, snadno použitelné a dokážou detekovat širokou škálu materiálů, což je činí vhodnými například pro parkovací asistenty a detekci objektů.

Krok 1: Překryjte data

• Prvním krokem je zkalibrovat a zarovnat všechny pohledy ze senzorů a poté překrýt všechna vaše data do jednoho zobrazení. Toto sloučené zobrazení poskytuje vašemu označovateli více kontextu, což mu umožňuje určit, co jednotlivé skupiny mračen bodů představují.

Krok 2: Označte 3D mračna bodů

• Doporučujeme nejprve označovat ve 3D před převodem do 2D z několika důvodů, i když to může působit neintuitivně. Označování nejprve ve 3D se často ukáže jako výrazně efektivnější, i když vaším hlavním cílem je získat 2D označení.
• Představte si, že projíždíte kolem nehybného objektu, například dopravní značky. Díky několika kamerám zůstává tato dopravní značka viditelná ve třech z nich během průjezdu, a to přibližně po dobu 100 snímků.
• Označení tohoto scénáře pomocí 2D ohraničujících rámečků by vyžadovalo označení celkem 300 objektů. V 3D prostoru by však označení této statické, nepohyblivé dopravní značky znamenalo pouze jednu anotaci pomocí kvádru.
• I když označení 3D kvádru trvá třikrát déle než anotace 2D ohraničujícího rámečku, je to stále 100krát efektivnější než označování přímo v obrázcích.

Krok 3: Projekce do 2D obrázků

• Jakmile označíte své 3D point cloudy, můžete je kalibrovat a zarovnat s 2D obrazovými daty. Segments.ai automaticky zkopíruje ID objektů do 2D dat, což vám ušetří hodiny kreslení ohraničujících rámečků. Během kontroly kvality stačí provést jen drobné úpravy.

U společností zabývajícími se autonomními vozidly a robotikou se v jejich modelech strojového učení (ML) stále častěji prosazuje přechod od přístupu založeného na pozdní fúzi k přístupu založenému na časné fúzi.

Při pozdní fúzi se pro každý použitý senzor využívají samostatné modely strojového učení, které generují individuální výstupy. Tyto výstupy se následně sloučí, a tím vznikne ucelené 3D zobrazení scény. Spočívá to v tom, že se nezávisle spustí více modelů a jejich výsledky se následně zkombinují.

Raná fúze využívá modernější přístup. Místo toho, aby se pro každý snímač používaly samostatné modely, jsou všechna data ze snímačů zadávána do jediného modelu strojového učení. Tento sjednocený model je navržený tak, aby prováděl predikce přímo v 3D prostoru.

Aby byla včasná fúze účinná, ukazuje se, že voxelové mřížky představují výhodný způsob zobrazení scény. Voxelové mřížky mají pravidelnou strukturu, díky které se pro tento přístup dobře hodí. Dají se v podstatě považovat za tenzory, což umožňuje predikci od začátku do konce. Celý proces od vstupu po výstup se dá předpovídat pomocí jediného modelu.