Ověřování s lidským dohledem pro fyzickou umělou inteligenci — zajištění bezpečnosti, přesnosti a důvěry v robotická data
Proč je kvalita novým rozlišovacím prvkem
V závodě o nasazení robotů, dronů a autonomních vozidel záleží na rychlosti — ale bezpečnost a důvěra jsou ještě důležitější. Jediný špatně označený objekt může vést k nákladným selháním nebo bezpečnostním incidentům. Proto přední AI společnosti využívají ověřování s lidským zapojením (Human-in-the-Loop, HITL), aby zajistily, že jejich modely se budou spolehlivě chovat v neřízených prostředích.
Skryté náklady špatných dat
Když jsou AI modely trénovány na nesprávných nebo zaujatých datech, dopad je exponenciální:
- Falešné detekce v robotickém vidění.
- Chybně zařazené objekty v AV navigaci.
- Chybné výstupy ze sloučení senzorů.
- Snížená průměrná doba do poruchy pro autonomní provoz.
Špatná data vedou ke špatné umělé inteligenci — a špatná umělá inteligence může mít nebezpečné dopady v reálném světě. Proto Uber AI Solutions staví HITL do centra svého rámce pro ověřování dat s přesností 98 %.
Anatomie HITL pipeline pro fyzickou umělou inteligenci
Získávání dat a předběžná validace
Surová multimodální data (video, lidar, radar, telemetrie) jsou nahrávána do platformy uLabel na Uberu s automatickými předběžnými kontrolami na duplicitní záznamy, chybějící snímky a sladění senzorů.
Anotace se zlatými datovými sadami
Anotátoři označují data podle „zlatého standardu“, který byl předem schválen odborníky na danou oblast, aby byla zajištěna shoda mezi anotátory (IAA) nad 70 % a konzistence napříč dávkami.
Konsensuální posouzení více stranami
Každý vzorek prochází několika kontrolory v modelu konsenzu 2 nebo 3 hodnotitelů. V případě neshod následují další kola auditu, dokud není dosaženo konečného konsenzuálního hodnocení.
Automatizované metriky kvality
Nástroje Uberu v reálném čase počítají Cohenův koeficient Kappa a míru shody mezi anotátory. Poklesy kvality spouštějí automatické označení k následnému přezkoumání člověkem.
Smyčka zpětné vazby a přeškolení
Poznatky z auditů se promítají do školicích materiálů a hodnoticích skriptů modelu – což zajišťuje neustálé zlepšování a snižování zaujatosti.
Lidský úsudek se snoubí s automatizací pomocí AI
Síla HITL spočívá v rovnováze mezi lidmi a stroji:
- Kontrola s asistencí AI: Automatické označování odchylek pomocí skóre spolehlivosti modelu.
- Skripty pro automatickou nápravu: Automatizovaná náprava chyb v uživatelském rozhraní a prvcích.
- Lidské audity: Specialisté na danou oblast ověřují okrajové případy, jako jsou okluze, reflexe nebo vzácné události.
- Nepřetržité učení: Zpětnovazební smyčky aktualizují modely označování a zlepšují anotace v dalším kole.
Tato synergie vytváří autonomně se vylepšující proces, ve kterém kvalita a efektivita rostou společně.
Snižování zaujatosti a zvyšování bezpečnosti díky lidskému dohledu
Zaujatost umělé inteligence může mít nebezpečné fyzické důsledky — od chybné identifikace pracovníků pomocí rozpoznávání obličeje až po situace, kdy roboti omylem upřednostní určité objekty.
Rámec HITL řešení Uber AI pomáhá včas odhalit a odstranit takové zkreslení tím, že:
Využívání různorodých skupin anotátorů napříč jazyky a regiony.
Provádění auditů zaujatosti při výběru dat a rozdělení štítků.
Provádíme kontrafaktuální testování za účelem ověření spravedlivých výsledků.
Zajištění transparentnosti původu datové sady.
Řešení
Odvětví
Zdroje
Prozkoumat