Валидация с участием человека для физического ИИ: обеспечение точности и доверия к данным робототехники
Введение: почему качество стало новым фактором, определяющим отличие
В гонке за внедрение роботов, дронов и автономных транспортных средств важна скорость. Однако безопасность и доверие имеют ещё большее значение. Одна неверно размеченная цель может привести к дорогостоящим сбоям или инцидентам, связанным с безопасностью. Именно поэтому ведущие компании в сфере искусственного интеллекта обращаются к проверке с участием человека (HITL), чтобы гарантировать надёжную работу своих моделей в неструктурированных условиях.
Скрытые издержки некачественных данных
Плохие данные приводят к некачественному ИИ. Когда модели искусственного интеллекта обучаются на неверных или предвзятых данных, это может привести к нежелательным результатам, включая:
- Ложные срабатывания в роботизированном зрении
- Неправильно классифицированные объекты в н авигации AV
- Ошибочные результаты слияния данных датчиков
- Сокращено среднее время до отказа для автономных операций
Анатомия HITL-конвейера для физического ИИ
Получение данных и предварительная проверка
Сырые мультимодальные наборы данных (видео, LiDAR, радар, телеметрия) загружаются на платформу для разметки, такую как uLabel, с автоматическими предварительными проверками на дубликаты, пропущенные кадры и согласованность данных с датчиков.
Аннотирование с эталонными наборами данных
Аннотаторы размечают данные в соответствии с «эталонным» набором, заранее утверждённым экспертами в данной области, чтобы обеспечить согласованность между аннотаторами (IAA) выше 70% и единообразие между партиями.
Рассмотрение с участием нескольких экспертов
Каждый образец проходит проверку несколькими рецензентами по модели консенсуса с участием 2 или 3 экспертов. В случае разногласий проводятся дополнительные этапы проверки до достижения окончательной согласованной оценки.
Автоматические показатели качества
Платформа в реальном времени вычисляет коэффициент каппа Коэна и показатели согласованности между аннотаторами. Снижение качества автоматически приводит к пометке для повторной проверки человеком.
Цикл обратной связи и повторное обучение
Результаты аудитов используются для доработки обучающих материалов и скриптов оценки моделей, что обеспечивает постоянное совершенствование и снижение предвзятости.
Человеческий опыт сочетается с автоматизацией на основе ИИ
Сила HITL заключается в гармоничном сочетании человека и технологий. Такая синергия создает самосовершенствующуюся систему, в которой качество и эффективность растут одновременно.
Проверка с помощью ИИ
Автоматическое обнаружение аномалий с помощью оценок уверенности модели.
Скрипты с функцией самовосстановления
Автоматическое исправление ошибок интерфейса и элементов.
Проверки, проводимые специалистами
Специалисты по предметной области проверяют сложные случаи, такие как перекрытия, отражения или редкие события.
Постоянное обучение
Циклы обратной связи обновляют модели разметки и улучшают аннотирование на следующем этапе.
Uber AI Solutions: снижение предвзятости с помощью контроля со стороны человека
Предвзятость искусственного интеллекта может привести к пугающим последствиям в реальном мире. Модель HITL от Uber AI Solutions помогает выявлять и устранять предвзятость на ранних этапах путем:
- использования разных пулов аннотаторов, представляющих разные языки и регионы;
- проведения проверок на предмет предвзятости при выборке данных и распределении меток;
- контрфактического тестирования для проверки правильности результатов;
- обеспечения прозрачности происхождения наборов данных.
Узнайте больше о возможностях сотрудничества с Uber AI Solutions на всех этапах жизненного цикла данных для робототехники — от предварительного обучения и оценки до внедрения и сортировки.
Давайте вместе создавать более совершенный
AI
Расскажите нам о вашем проекте. Мы покажем вам
данные, которые помогут вам достичь цели.
Давайте вместе создавать более совершенный
AI
Расскажите нам о вашем проекте. Мы покажем вам
данные, которые помогут вам достичь цели.