Weryfikacja z udziałem człowieka w przypadku fizycznej AI: zapewnianie dokładności i zaufania do danych robotycznych
Wprowadzenie: dlaczego jakość jest nowym czynnikiem wyróżniającym
W wyścigu o wdrożenie robotów, dronów i pojazdów autonomicznych liczy się szybkość. Jednak bezpieczeństwo i zaufanie są ważniejsze. Jeden nieprawidłowo oznaczony obiekt może prowadzić do kosztownych awarii lub incydentów związanych z bezpieczeństwem. Dlatego wiodące firmy z branży AI korzystają z walidacji metodą „human-in-the-loop” (HITL), aby zapewnić niezawodne działanie swoich modeli w niestrukturalnych środowiskach.
Ukryty koszt nieprawidłowych danych
Złe dane powodują nieprawidłowe działanie sztucznej inteligencji. Gdy modele sztucznej inteligencji są trenowane na podstawie nieprawidłowych lub stronniczych danych, może to prowadzić do złych wyników, w tym:
- Fałszywe wykrycia w widzeniu robotowym
- Nieprawidłowo sklasyfikowane obiekty w nawigacji pojazdów autonomicznych
- Błędne wyniki fuzji czujników
- Skrócenie średniego czasu do awarii w przypadku operacji autonomicznych
Anatomia procesu HITL dla fizycznej sztucznej inteligencji
Pobieranie danych i wstępna weryfikacja
Surowe multimodalne zbiory danych (nagrania wideo, dane LiDAR i z radarów, dane telemetryczne) są wprowadzane do platformy etykietowania, takiej jak uLabel, z automatyczną weryfikacją przed etykietowaniem pod kątem duplikatów, brakujących klatek i wyrównania czujników.
Adnotacja z użyciem zweryfikowanych zbiorów danych
Adnotatorzy etykietują dane zgodnie ze „złotym standardem” wstępnie zatwierdzonym przez ekspertów w danej dziedzinie, aby zapewnić zgodność między adnotatorami (IAA) na poziomie powyżej 70% i spójność między partiami treści.
Przegląd z udziałem wielu oceniających
Każda próbka jest oceniana przez kilku recenzentów w modelu konsensusu 2- lub 3-osobowego. W przypadku rozbieżności przeprowadzane są dodatkowe rundy audytu, aż do uzyskania ostatecznego wyniku konsensusu.
Zautomatyzowane metryki jakości
Platforma oblicza współczynnik kappa Cohena i wyniki zgodności między adnotatorami w czasie rzeczywistym. Wykrycie spadków jakości uruchamia automatyczne oznaczanie do ponownej oceny przez człowieka.
Pętla sprzężenia zwrotnego i ponowne szkolenie
Informacje uzyskane w wyniku audytów są wykorzystywane do tworzenia materiałów szkoleniowych i skryptów oceny modeli, co zapewnia nieustanne doskonalenie i ograniczanie uprzedzeń.
Ocena dokonywana przez człowieka i automatyzacja oparta na sztucznej inteligencji
Zaleta HITL polega na równowadze między udziałem ludzi i maszyn. Ta synergia zapewnia samoulepszający się proces, w którym jakość i efektywność poprawiają się jednocześnie.
Przegląd wspomagany przez AI
Automatyczne oznaczanie anomalii na podstawie wyników wiarygodności modelu.
Samonaprawiające się skrypty
Automatyczna korekta błędów interfejsu użytkownika i elementów.
Audyty przeprowadzane przez ludzi
Specjaliści w danej dziedzinie weryfikują przypadki brzegowe, takie jak okluzje, odbicia czy rzadkie zdarzenia.
Ciągłe uczenie się
Pętle informacji zwrotnych aktualizują modele etykietowania i ulepszają adnotacje w kolejnej rundzie.
Uber AI Solutions: ograniczanie uprzedzeń dzięki nadzorowi człowieka
Stronniczość AI może wywoływać niepokojące skutki w świecie fizycznym. Struktura HITL w ramach Uber AI Solutions pomaga wcześnie wykrywać stronniczość i ograniczać ją poprzez:
- korzystanie z różnorodnych grup anotatorów, reprezentujących różne języki i regiony;
- audyty pod kątem stronniczości w doborze próbek danych i przypisywania etykiet;
- testy kontrfaktyczne w celu weryfikacji rzetelności wyników;
- przejrzystość w zakresie pochodzenia zbiorów danych.
Dowiedz się więcej o możliwościach współpracy z Uber AI Solutions w ramach całego cyklu przetwarzania danych robotycznych – od etapu przed szkoleniem, przez ocenę, aż po wdrożenie i triaż.
Twórzmy razem lepszą
sztuczną inteligencję
Opowiedz nam o swoim projekcie. Pokażemy Ci
dane, które pomogą Ci osiągnąć cel.
Twórzmy razem lepszą
sztuczną inteligencję
Opowiedz nam o swoim projekcie. Pokażemy Ci
dane, które pomogą Ci osiągnąć cel.
Rozwiązania
Branże
Zasoby
Odkryj