Ověřování s lidským dohledem pro fyzickou umělou inteligenci: zajištění přesnosti a důvěryhodnosti dat v robotice
Úvod: proč je kvalita novým rozlišovacím prvkem
V závodě o nasazení robotů, dronů a autonomních vozidel záleží na rychlosti. Ještě důležitější jsou však bezpečnost a důvěra. Jediný špatně označený objekt může vést k nákladným selháním nebo bezpečnostním incidentům. Proto přední AI společnosti využívají validaci s lidským zapojením (HITL), aby zajistily spolehlivé chování svých modelů v neorganizovaných prostředích.
Skryté náklady na špatná data
Špatná data vedou ke špatné umělé inteligenci. Když jsou modely umělé inteligence trénovány na nesprávných nebo zaujatých datech, může to mít negativní dopad a vést k nežádoucím výsledkům, například:
- Falešné detekce v robotickém vidění
- Nesprávně zařazené objekty v AV navigaci
- Chybné výstupy ze sloučení senzorů
- Snížená průměrná doba do poruchy pro autonomní provoz
Anatomie HITL pipeline pro fyzickou umělou inteligenci
Načítání dat a předběžná validace
Surová multimodální data (video, LiDAR, radar, telemetrie) jsou nahrávána do platformy pro označování, například uLabel, s automatickými kontrolami předběžného označení na duplicitní záznamy, chybějící snímky a sladění senzorů.
Anotace se zlatými datovými sadami
Anotátoři označují data podle „zlatého standardu“, který byl předem schválen odborníky na danou oblast, aby byla zajištěna shoda mezi anotátory (IAA) nad 70 % a konzistence napříč dávkami.
Konsenzuální posouzení více hodnotiteli
Každý vzorek prochází několika kontrolory v modelu konsenzu 2 nebo 3 hodnotitelů. V případě neshod následují další kola auditu, dokud není dosaženo konečného konsenzuálního hodnocení.
Automatizované metriky kvality
Platforma v reálném čase vypočítává Cohenův Kappa index a skóre shody mezi anotátory. Poklesy kvality spouštějí automatické označování pro opětovné posouzení člověkem.
Smyčka zpětné vazby a přeškolení
Poznatky z auditů se promítají do školicích materiálů a hodnoticích skriptů modelu, což zajišťuje neustálé zlepšování a snižování zaujatosti.
Lidský úsudek se spojuje s automatizací pomocí AI
Síla HITL spočívá v rovnováze mezi lidmi a stroji. Tato synergie vytváří samo-zlepšující se proces, ve kterém se kvalita a efektivita rozvíjejí společně.
Kontrola s asistencí AI
Automatické označování anomálií na základě skóre důvěry modelu.
Skripty s automatickou opravou
Automatická oprava chyb v uživatelském rozhraní a prvcích.
Lidské audity
Odborníci na danou oblast ověřují okrajové případy, jako jsou zakrytí, odrazy nebo vzácné události.
Nepřetržité vzdělávání
Zpětné vazby aktualizují modely označování a zlepšují anotace v dalším kole.
Uber AI řešení: zmírnění zaujatosti s lidským dohledem
Zaujatost umělé inteligence může mít znepokojivé fyzické projevy. Rámec HITL od Uber AI Solutions pomáhá včas odhalit a zmírnit takovou zaujatost tím, že:
- využívá rozmanité skupiny anotátorů napříč jazyky a regiony,
- provádí audity zaujatosti při výběru dat a rozdělení štítků,
- provádí kontrafaktuální testování za účelem ověření spravedlivých výsledků,
- zajišťuje transparentnost původu datových sad.
Zjistěte víc o tom, jak můžete navázat spolupráci se Uber AI Solutions v rámci celého životního cyklu robotických dat – od předběžného trénování přes vyhodnocování až po nasazení a třídění.
Pojďme společně vytvářet lepší
AI
Řekněte nám něco o svém projektu. Ukážeme vám
data, která vás tam dovedou.
Pojďme společně vytvářet lepší
AI
Řekněte nám něco o svém projektu. Ukážeme vám
data, která vás tam dovedou.
Ře šení
Odvětví
Zdroje
Prozkoumat