Validação com intervenção humana para a IA física: garantir a exatidão e a confiança nos dados da robótica
Introdução: porque é que a qualidade é o novo fator de diferenciação
Na corrida para implementar robôs, drones e veículos autónomos, a velocidade é importante. Mas a segurança e a confiança são ainda mais importantes. Um único objeto mal etiquetado pode causar falhas dispendiosas ou incidentes de segurança. É por isso que as principais empresas de IA estão a recorrer à validação "Human-in-the-loop" (HITL) para garantir que os seus modelos funcionam de forma fiável em ambientes não estruturados.
Os custos ocultos dos dados incorretos
Dados incorretos criam uma IA de má qualidade. Quando os modelos de IA são treinados com dados incorretos ou com viés, as consequências podem traduzir-se em resultados insatisfatórios, incluindo:
- Falsas deteções na visão robótica
- Objetos classificados incorretamente na navegação de veículos autónomos
- Resultados erróneos da fusão de sensores
- Redução do tempo médio até à falha em operações autónomas
Anatomia de uma pipeline HITL para IA física
Ingestão e pré-validação de dados
Os conjuntos de dados multimodais brutos (vídeo, LiDAR, radar, telemetria) são importados para uma plataforma de etiquetagem, como a uLabel, com verificações automatizadas antes da etiquetagem para detetar duplicados, fotogramas em falta e alinhamento dos sensores.
Anotação com conjuntos de dados de referência
Os anotadores classificam os dados com base num conjunto “padrão de referência” previamente aprovado por especialistas na matéria, para garantir um acordo interanotadores (IAA) superior a 70% e consistência entre lotes.
Revisão por consenso de vários avaliadores
Cada amostra é analisada por vários avaliadores num Modelo de Consenso de 2 ou 3 avaliadores. Em caso de divergências, são realizadas rondas adicionais de auditoria até ser alcançado um consenso final na pontuação.
Métricas automáticas de qualidade
A plataforma calcula o coeficiente Kappa de Cohen e as pontuações da concordância entre anotadores em tempo real. As quedas de qualidade desencadeiam sinalizações automáticas para reavaliação humana.
Ciclo de feedback e requalificação
As informações obtidas nas auditorias são integradas nos conteúdos de formação e nos scripts de avaliação dos modelos, garantindo a evolução contínua e a redução dos vieses.
O discernimento humano alia-se à automação da IA
O poder do HITL reside no seu equilíbrio entre humanos e máquinas. Esta sinergia cria um fluxo em constante aperfeiçoamento no qual a qualidade e a eficiência aumentam em simultâneo.
Revisão assistida por IA
Sinalização automática de anomalias através de pontuações de confiança do modelo.
Scripts de autorrecuperação
Correção automática de erros da IU e de elementos.
Auditorias humanas
Os especialistas na área validam casos extremos, tais como obstruções, reflexos ou eventos raros.
Aprendizagem contínua
Os ciclos de feedback atualizam os modelos de etiquetagem e melhoram as anotações da ronda seguinte.
Uber AI Solutions: mitigar o viés com supervisão humana
O viés da IA pode ter manifestações físicas alarmantes. A estrutura HITL da Uber AI Solutions permite detetar e mitigar atempadamente esse tipo de viés através das seguintes medidas:
- Recorrer a grupos diversificados de anotadores em vários idiomas e regiões.
- Realizar auditorias de vieses às amostras de dados e à distribuição de etiquetas.
- Realizar testes contrafactuais para verificar se os resultados são justos.
- Garantir a transparência na proveniência dos conjuntos de dados.
Consulte mais informações sobre como pode colaborar com a Uber AI Solutions ao longo de todo o ciclo de vida dos dados de robótica, desde o pré-treino até à avaliação, passando pela implementação e triagem.
Vamos construir melhor
IA juntos
Fale-nos sobre o seu projeto. Vamos mostrar-lhe
os dados que o ajudam a alcançar o seu objetivo.
Vamos construir melhor
IA juntos
Fale-nos sobre o seu projeto. Vamos mostrar-lhe
os dados que o ajudam a alcançar o seu objetivo.