Walidacja z udziałem człowieka dla fizycznej sztucznej inteligencji — zapewnienie bezpieczeństwa, dokładności i zaufania w danych dotyczących robotyki
Dlaczego jakość jest nowym wyróżnikiem
W wyścigu o wdrożenie robotów, dronów i autonomicznych pojazdów liczy się szybkość — ale jeszcze ważniejsze są bezpieczeństwo i zaufanie. Jedno błędnie oznaczone obiekty może prowadzić do kosztownych awarii lub incydentów związanych z bezpieczeństwem. Dlatego czołowe firmy zajmujące się sztuczną inteligencją korzystają z walidacji Human-in-the-Loop (HITL), aby mieć pewność, że ich modele działają niezawodnie w nieustrukturyzowanych środowiskach.
Ukryty koszt nieprawidłowych danych
Gdy modele AI są trenowane na nieprawidłowych lub stronniczych danych, ich wpływ rośnie wykładniczo:
- Fałszywe wykrycia w widzeniu maszynowym.
- Nieprawidłowo sklasyfikowane obiekty w nawigacji AV.
- Błędne wyniki fuzji czujników.
- Skrócony średni czas do awarii dla autonomicznych operacji.
Złe dane prowadzą do złej sztucznej inteligencji — a zła sztuczna inteligencja może skutkować niebezpiecznymi konsekwencjami w rzeczywistym świecie. Dlatego Uber AI Solutions stawia HITL w centrum swojego procesu walidacji danych, osiągając 98% skuteczności.
Anatomia procesu HITL dla fizycznej sztucznej inteligencji
Pobieranie danych i wstępna walidacja
Surowe zbiory danych multimodalnych (wideo, lidar, radar, telemetria) są wczytywane do platformy uLabel firmy Uber, gdzie automatyczne mechanizmy wstępnego oznaczania sprawdzają duplikaty, brakujące klatki oraz wyrównanie czujników.
Adnotacja z użyciem Złotych Zbiorów Danych
Adnotatorzy etykietują dane zgodnie ze „złotym standardem” wstępnie zatwierdzonym przez ekspertów w danej dziedzinie, aby zapewnić zgodność między adnotatorami (IAA) na poziomie powyżej 70% i spójność między partiami treści.
Weryfikacja oparta na konsensusie wielu oceniających
Każda próbka jest oceniana przez kilku recenzentów w modelu konsensusu 2- lub 3-osobowego. W przypadku rozbieżności przeprowadzane są dodatkowe rundy audytu, aż do uzyskania ostatecznego wyniku konsensusu.
Zautomatyzowane metryki jakości
Narzędzia Uber obliczają współczynnik kappa Cohena i wyniki zgodności między adnotatorami w czasie rzeczywistym. Wykrycie spadków jakości uruchamia automatyczne oznaczanie do ponownej oceny przez człowieka.
Pętla informacji zwrotnej i ponowne szkolenie
Wnioski z audytów są wykorzystywane do ulepszania materiałów szkoleniowych oraz skryptów oceny modeli — co zapewnia ciągłe doskonalenie i ograniczanie uprzedzeń.
Połączenie ludzkiego doświadczenia z automatyzacją opartą na AI
Zaleta HITL polega na równowadze między ludźmi i maszynami:
- Weryfikacja wspomagana przez AI: automatyczne oznaczanie anomalii na podstawie wyników wiarygodności modelu.
- Samonaprawiające się skrypty: automatyczna korekta błędów interfejsu użytkownika i elementów.
- Audyty przeprowadzane przez ludzi: specjaliści w danej dziedzinie weryfikują przypadki brzegowe, takie jak okluzje, odbicia czy rzadkie zdarzenia.
- Ciągłe uczenie się: pętle informacji zwrotnych aktualizują modele etykietowania i ulepszają adnotacje w kolejnej rundzie.
Ta synergia zapewnia samoulepszający się proces, w którym jakość i efektywność poprawiają się jednocześnie.
Łagodzenie uprzedzeń i poprawa bezpieczeństwa dzięki nadzorowi człowieka
Stronniczość AI może prowadzić do niebezpiecznych skutków fizycznych — od błędnej identyfikacji osób przez systemy rozpoznawania twarzy po sytuacje, w których roboty omyłkowo nadają priorytet określonym obiektom.
Framework HITL rozwiązania AI Uber pomaga wykrywać i eliminować takie uprzedzenia na wczesnym etapie poprzez:
Korzystanie z różnych grup adnotatorów w różnych językach i regionach.
Stosowanie audytów pod kątem stronniczości podczas pobierania próbek danych i rozkładu etykiet.
Przeprowadzanie testów kontrfaktycznych w celu weryfikacji sprawiedliwych rezultatów.
Zapewnienie przejrzystości pochodzenia zbioru danych.
Rozwiązania
Branże
Zasoby
Odkryj