Валидация с участием человека для физического ИИ — обеспечение безопасности, точности и доверия к данным в робототехнике
Почему качество стало новым фактором отличия
В гонке за внедрение роботов, дронов и автономных транспортных средств важна скорость — но еще важнее безопасность и доверие. Одна неверно размеченная деталь может привести к дорогостоящим сбоям или инцидентам, связанным с безопасностью. Именно поэтому ведущие компании в сфере искусственного интеллекта используют проверку с участием человека (Human-in-the-Loop, HITL), чтобы гарантировать надежную работу своих моделей в неструктурированных условиях.
Скрытая цена некачественных данных
Когда модели искусственного интеллекта обучаются на некорректных или предвзятых данных, последствия возрастают в геометрической прогрессии:
- Ложные срабатывания в компьютерном зрении.
- Некорректно классифицированные объекты в навигации AV.
- Ошибочные результаты объединения данных датчиков.
- Сокращено среднее время до отказа при автономной работе.
Плохие данные приводят к некачественному ИИ — а некачественный ИИ может привести к опасным последствиям в реальном мире. Именно поэтому Uber AI Solutions ставит HITL в центр своей системы проверки данных с точностью 98%.
Анатомия HITL-конвейера для физического ИИ
Получение и предварительная проверка данных
Сырые мультимодальные наборы данных (видео, лидар, радар, телеметрия) загружаются на платформу uLabel от Uber с автоматической предварительной проверкой на дубликаты, пропущенные кадры и согласованность данн ых с датчиков.
Аннотирование с эталонными наборами данных
Аннотаторы размечают данные в соответствии с «эталонным» набором, заранее утверждённым экспертами в данной области, чтобы обеспечить согласованность между аннотаторами (IAA) выше 70% и единообразие между партиями.
Проверка консенсус-моделями
Каждый образец проходит проверку несколькими рецензентами по модели консенсуса с участием 2 или 3 экспертов. В случае разногласий проводятся дополнительные этапы проверки до достижения окончательной согласованной оценки.
Автоматизированные метрики качества
Инструментарий Uber вычисляет коэффициент Каппа Коэна и показатели согласованности между аннотаторами в режиме реального времени. Снижение качества автоматически приводит к появлению отметок для повторной оценки человеком.
Цикл обратной связи и повторное обучение
Результаты аудитов используются для обновления обучающих материалов и скриптов оценки моде лей — это обеспечивает постоянное совершенствование и снижение предвзятости.
Человеческий опыт сочетается с автоматизацией на основе ИИ
Сила HITL заключается в балансе между человеком и машиной:
- Проверка с помощью ИИ: автоматическая маркировка аномалий с помощью оценок достоверности модели.
- Скрипты самовосстановления: автокоррекция ошибок пользовательского интерфейса и других элементов.
- Проверки специалистами в предметной области: сфокусированы на пограничных случаях, таких как логические перекрытия, рефлексии и редкие события.
- Непрерывное обучение: циклы обратной связи обновляют модели разметки и улучшают качество аннотаций следующих раундов.
Такая синергия создает самосовершенствующийся пайплайн с параллельно растущими качеством и эффективностью.
Снижение предвзятости и повышение безопасности благодаря контролю со стороны человека
Смещение ИИ может приводить к опасным последствиям в реальном мире — от ошибок распознавания лиц, когда работники определяются неверно, до ситуаций, когда роботы по ошибке отдают приоритет определённым объектам.
Фреймворк HITL решения Uber AI помогает выявлять и устранять подобные предвзятости на ранних этапах, благодаря:
Использование разнообразных групп аннотаторов в разных языках и регионах.
Проведение аудита на наличие предвзятости при выборке данных и распределении меток.
Проводим контрфактическое тестирование для проверки справедливости результатов.
Обеспечение прозрачности происхождения набора данных.
Решения
Отрасли
Ресурсы
Изучить