Inimese kaasamisega valideerimine füüsilises tehisintellektis — ohutuse, täpsuse ja usaldusväärsuse tagamine robootika andmetes
Miks kvaliteet on uus eristustegur
Võidujooksus robotite, droonide ja isesõitvate sõidukite kasutuselevõtul on kiirus oluline — kuid veelgi olulisemad on ohutus ja usaldusväärsus. Üks valesti märgistatud objekt võib põhjustada kulukaid tõrkeid või ohutusjuhtumeid. Seetõttu pöörduvad juhtivad tehisintellekti ettevõtted Human-in-the-Loop (HITL) valideerimise poole, et tagada nende mudelite usaldusväärne toimimine struktureerimata keskkondades.
Halva andmete varjatud hind
Kui tehisintellekti mudeleid koolitatakse ebaõigete või kallutatud andmete põhjal, on mõju eksponentsiaalne:
- Vale tuvastused roboti nägemises.
- Valesti klassifitseeritud objektid AV navigeerimisel.
- Vigased anduriandmete ühendamise tulemused.
- Vähendatud autonoomsete toimingute keskmine tõrkeaeg.
Halb andmestik loob halva tehisintellekti — ning halb tehisintellekt võib viia ohtlike tagajärgedeni päriselus. Seetõttu seab Uber AI Solutions HITL-i oma 98% täpsusega andmete valideerimise raamistiku keskmesse.
Füüsilise tehisintellekti HITL-torustiku ülesehitus
Andmete sisestamine ja eelkontroll
Toorandmed mitmest allikast (video, lidar, radar, telemeetria) laaditakse Uberi uLabel platvormile, kus toimub automaatne eelkontroll duplikaatide, puuduvate kaadrite ja andurite joondamise tuvastamiseks.
Annotatsioon kuldandmetega
Annotaatorid märgistavad andmeid eelnevalt valdkonna ekspertide poolt kinnitatud „kuldstandardi” alusel, et tagada annotaatoritevaheline kokkulepe (IAA) üle 70% ning järjepidevus erinevate partiide lõikes.
Mitme kohtuniku ühine ülevaade
Iga näidis läbib mitu hindajat 2- või 3-hindaja konsensusmudelis. Erimeelsuste korral viiakse läbi täiendavad kontrollvoorud, kuni saavutatakse lõplik ühine hinnang.
Automatiseeritud kvaliteedimõõdikud
Uberi kasutatavad tööriistad mõõdavad reaalajas, kui hästi erinevad hindajad või märgendajad üksteisega nõustuvad. Kvaliteedi langused käivitavad automaatse märgistuse inimese poolseks ümberhindamiseks.
Tagasisideahel ja uuestiõpe
Auditite käigus saadud teadmised jõuavad tagasi koolitusmaterjalidesse ja mudeli hindamise skriptidesse, tagades pideva arendamise ja eelarvamuste vähendamise.
Inimlik otsustusvõime kohtub tehisintellekti automatiseerimisega
HITL-i tugevus seisneb inimeste ja masinate tasakaalus:
- AI-toega ülevaatus: kõrvalekallete automaatne märgistamine mudeli usaldusskooride põhjal.
- Iseparanevad skriptid: kasutajaliidese ja elementidega seotud vigade automaatne parandamine.
- Inimeste tehtavad auditid: valdkonnaspetsialistid valideerivad ääremärkusid, näiteks varjamisi, peegeldusi või haruldasi sündmusi.
- Pidev õppimine: tagasisideahelad uuendavad märgistamismudeleid ja parandavad järgmise vooru märgistusi.
See sünergia loob iseenesest paraneva protsessi, kus kvaliteet ja tõhusus kasvavad koos.
Eelarvamuste vähendamine ja ohutuse parandamine inimliku järelevalve abil
Tehisintellekti kallutatus võib põhjustada ohtlikke füüsilisi tagajärgi — alates näotuvastusest, mis tuvastab kasutajad valesti, kuni robotiteni, mis ekslikult eelistavad teatud objekte.
Uberi tehisintellekti lahenduse HITL-raamistik aitab sellist kallutatust varakult tuvastada ja kõrvaldada, tehes järgmist:
Erinevate märgistajate rühmade kasutamine eri keeltes ja piirkondades.
Eelarvamuste auditite rakendamine andmete valimis ja siltide jaotuses.
Vastandlike stsenaariumide testimine õiglasemate tulemuste tagamiseks.
Tagame andmete päritolu läbipaistvuse.
Lahendused
Tööstusharud
Ressursid
Avasta